- 博客(10)
- 收藏
- 关注
RSS订阅转载 我在领扣做题——a+b
1.a+b 1 + 3 1：0001 3：0011 4: 0100 1|3:0011=3 无进位时a|b = a +b 有进位则不成立 计算思路：使用异或运算【不进位加法】忽略有进位的位置，再加上应该有的进位的位置。 所以我们可以这样：如果我们忽略有进位的位置后，再加上应该进位的位置，就...
2019-08-26 11:13:00
205
转载 记录一次日志传输方案升级的过程
1。之前的日志传输的方案： Nginx => Logstash =>ES AND Kakfa 。 存在的问题，如果Es挂掉，整个的 Logstash 传输的pipline 管道就会阻塞，Kafka 端也收不到消息，耦合性很强。一个 Logstash 进程 属于一个 pipline ...
2019-08-23 14:56:00
356
转载 关于Logstash的三个测试
1.Logstash吐出来的记录 有大量冗余数据，配置删除项用来改变，减少存储压力，针对 配置文件中的 filter mutate grok json 等插件的使用。 2.一台linux服务器上是否可以开多个logstash实例，用来解决各个输出源 不同 相互隔离的问题。目前还在测试，一个...
2019-08-20 16:08:00
410
转载 Logstash 配置多个输出源的问题
一个配置文件里面同时配置了 es 和 kafka 作为输出源，出现es崩溃后，kafka接收不到消息的问题。目前排查以及搜索资料后，发现虽然logstash配置了多个输出源，但是使用的是一个管道。目前解决方案：可以配置多个logstash ，或者多个配置文件使用 index做为区分。 数...
2019-08-20 10:29:00
4035
转载 Spark on yarn 的两种模式的区别
1. spark on yarn cluster 模式 ResourceManger 分配资源 ApplicationMaster (AM)通信 NodeManager NodeManger 开辟 Container，Container进行 executor执行job。同时资源情况以及jo...
2019-08-19 16:27:00
303
转载 记录一次Mysql查询的问题 inner join 比left join 速度快
原sql: SELECTbiv.*,m.`name`media_name,cp.`name`cp_name,m.typemedia_typeFROMbi_validcount_daybiv LEFTJOINz_media_localzmONbiv.med...
2019-08-19 13:34:00
825
转载 记录一次kafka consumer 将消息写入hdfs的经历
1.大体的一个业务需求： Logstash吐出来的消息作为kafka producer，每小时大约有百万条记录，kafka consumer 使用springboot 配置kafka，根据业务需求按照topic 日期 小时 这种结构 写入到Hdfs 2.遇到的问题：1.开始的时候每...
2019-08-14 17:51:00
803
转载 本地项目推送到gitHub
1.本地文件 git init here 2.git init 初始化文件夹 增加 .git 3.git add . 增加文件夹下所有文件 4.git commit -m '说明' 提交 5.git remote add origin git地址 连接到远程 git 仓库...
2019-08-12 15:28:00
98
转载 Kafka的配置 亲测
@Testpublic void myConsumer(){ Properties props = new Properties(); props.put("bootstrap.servers", "47.100.131.226:9092,47.100.95.99:9...
2019-08-12 15:09:00
109
转载 记录一次kafka 消费到hdfs的过程
1.大体的一个流程： 前端日志数据 --> Nginx -->Logstash 生产者--> kafka -->Hdfs 其中Logstash 生成者消息很多 按照topic区分 每一个产品6个topic 每个topic三个分区 ，kafka consumer有消...
2019-08-08 19:53:00
714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人