- 博客(5)
- 资源 (3)
- 收藏
- 关注
原创 kafka listeners 和 advertised.listeners配置内外网都可用
在内网部署及访问kafka时,只需要配置listeners参数即可,比如# The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured.# FORMAT:# ...
2020-01-15 12:36:06 9498 1
原创 记录------scrapy-splash爬虫相关
splash_cebspider爬虫程序运行1.安装python32.安装Scrapy3.安装splash命令:pip3 install scrapy-splash3.安装python-bloomfilter命令:pip3 install pybloom-live4.安装docker5.启动docker6.拉取镜像(pull the image)命令:doc...
2018-11-01 11:49:09 199
原创 记录-----解决Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensu问题
大多数是集群资源有限导致的问题。注意合理分配资源 原则1:首先,保证至少有一个executor可以成功启动,否则,提交的spark应用是无法跑起来的如何保证?第一点:--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数),否则会出现资源不足报错 第二点:--executor-memorry <= SP...
2018-09-12 11:58:23 2377
原创 记录-----自定义interceptor,解决flume监控日志上传HDFS日期后移一天问题
1.自定义flume的interceptor添加自定义headerpackage com.huajie.flume.interceptor.custominterceptor;import com.google.common.collect.Lists;import org.apache.flume.Context;import org.apache.flume.Event;im...
2018-09-12 09:27:24 993
saiku-server-foodmart-3.17.part2.rar
2019-12-30
saiku-server-foodmart-3.17.part1.rar
2019-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人