weixin_46373361的博客

通过java服务访问k8s集群

【代码】下载文件 不想生成临时文件。

java.time包下。

queryDSL 配置

java初级开发

kafka如果宕机重启了，怎么指定我要消费的偏移量呢？借图

java 与 mysql的substringjavamysql吃一堑长一智！！！今天在做大数据笔试题的时候，要求 是 某个字段中的一部分必须等于指定值的数据。使用了substring截取这个字段的前7位。但是因为java最近使用的比较频繁，一度记混淆了。java中的substring下标是从0开始的，mysql中的substring下标是从1开始的。！！！！！！！*javamysql...

大数据面经收藏hadoop2.x和3.x的区别不停机升级过程中有哪些不兼容的地方（namenode的editlog、datanode的块布局等）版本回滚会有啥问题？hdfs写数据过程，写的过程中有哪些故障，分别会怎么处理？dataqueue和ackqueue如何交互的？ackqueue中的数据如何重新放回到dataqueue中？如何保证有序？写数据的过程中是一个个package写入并确认成功后再写下一个吗？不过不是，是怎么写的，除了错误如何恢复的？spark比mapreduce快的原因数据倾斜问题，怎么解决

mongodb单机版搭建// 通过WGET下载Linux版本的MongoDB[bigdata@linux ~]$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.3.tgz// 将压缩包解压到指定目录[bigdata@linux backup]$ tar -xf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C ~/// 将解压后的文件移动到最终的安装目录[bigdat

Azkaban部署与使用集群模式安装配置Mysql配置Executor Server配置Web Server集群模式安装将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到/opt/azkaban目录下总用量 35572-rw-r--r-- 1 root root 6433 6月 23 11:31 azkaban-db-3.84.4.tar.gz-rw

cdh6.x集成Elasticsearch1. 制作Paecel包csd文件1.1下载cm_ext1.2 配置java环境变量和maven1.3下载ElasticSearch安装包1.4 下载elasticsearch-parcel包1.5制作parcel包和csd文件并校验2 部署Elasticsearch服务复制csd文件安装踩坑/opt/cloudera/parcels/ELASTICSEARCH-7.6.1.elasticsearch.p0.7.6.1/config AccessDenied.在

linux动态扩容增加磁盘容量查看磁盘大小增加分区初始化分区，加入卷组扩展逻辑卷大小增加磁盘容量磁盘容量需要增加，那么就需要动态扩容修改原来磁盘大小，指定更大容量。查看磁盘大小扩容后查看磁盘空间大小：fdisk -l[root@cdh02 ~]# fdisk -l磁盘 /dev/vda：2199.0 GB, 2199023255552 字节，4294967296 个扇区Units = 扇区 of 1 * 512 = 512 bytes扇区大小(逻辑/物理)：512 字节 / 512 字

sqoop将mysql表导入hdfssqoop help codegen Generate code to interact with database records create-hive-table Import a table definition into Hive eval Evaluate a SQL statement and display the results export Export an

flume-interceptor假设我们要拦截flume传输日志中包含“ pink ” 字符串的事件每个event都是由一个header+body组成的public class PinkInterceptor implements Interceptor { //声明一个存放事件的集合 private List<Event> addEvents; public void initialize() { events = new ArrayList<>();

kafka如何保证数据不丢失producerconsumerproducer1.ack的策略配置ack = 0生产者发送消息之后 不需要等待服务端的任何响应，它不管消息有没有发送成功，如果发送过程中遇到了异常，导致broker端没有收到消息，消息也就丢失了。实际上它只是把消息发送到了socketBuffer(缓存)中，而socketBuffer什么时候被提交到broker端并不关心，它不担保broker端是否收到了消息，但是这样的配置对retry是不起作用的，因为producer端都不知道是否发生了

kafka日志清理日志删除日志压缩由于kafka接收了来自端口发送的数据，导致kafka经常报错数据量过大，存储不了数据无法继续接收。kafka将消息存储在磁盘中，kafka中的每一个分区都对应一个日志文件，进而又细分为多个日志分段文件。日志删除log.cleanup.policy=delete启用删除策略log.cleanup.policy=delete#专门的日志删除任务来周期性检测和删除不符合保留条件的日志分段文件，默认300000ms，5分钟log.retention.check.i

flume安装解压flume安装包进入到conf下修改flume-env.sh.template 为flume-env.shmv flume-env.sh.template flume-env.sh删除lib目录下guava-x.x.x.jar，防止跟其他组件冲突，但要配置hadoop环境变量vim flume-env.sh,配置java环境变量export JAVA_HOME=/usr/java/jdk1.8.0_191...

zookeeper搭建搭建znode搭建下载zookeeper安装包解压zookeeper到指定目录下tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/将zookeeper-3.5.7改名zookeeper，不过最好保留版本信息，因为hadoop生态不同组件可能相互依赖版本，保留版本信息，方便系统搭建选择。进入到zookeeper下conf目录下复制zoo_sample.cfgcp zoo_sample.cfg zoo.cfgvim zoo.cfgdat

kafka集群搭建kafka项目经验之kafka机器数量kafka数量=2*(峰值生产速度*副本数/100)+1假设搭建三台kafka集群解压kafka安装包到指定目录如：/opt/kafka到kafka/config目录下配置server.propertiesbroker.id=1 delete.topic.enable=true log.dirs=/tmp/kafka-logs zookeeper.connect=192.168.1.202:2181,192.168.1.201:2

kafka集群启动失败大多数人的虚拟机可能长时间开启，断电虚拟机关闭，或者进程关闭顺序zookeeper在kafka之前关闭。会导致kafka在zookeeper中注册的零时节点没有销毁。下次kafka启动时，同样跑去注册，发现zookeeper中kafka的brokers/ids不为空，就会默认已经启动。kafka就不会在启动。[zk: localhost:2181(CONNECTED) 12] ls /kafka/brokers/ids[1, 2, 3][zk: localhost:2181(