hadoop
Linda L
这个作者很懒,什么都没留下…
展开
-
clickhouse部署
从clickhouse官网下载二进制安装包解压安装tar -xzvf clickhouse-common-static-dbg-21.9.4.35.tgztar -xzvf ...sudo clickhouse-common-static-21.9.4.35/install/doinst.shsudo clickhouse-client-21.9.4.35/install/doinst.shsudo clickhouse-common-static-dbg-21.9.4.35/install/原创 2022-02-13 22:23:33 · 2544 阅读 · 0 评论 -
DataX之MysqlReader插件的使用
{ "job": { "setting": { "speed": { "record":100 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": {原创 2021-07-21 11:11:59 · 1364 阅读 · 0 评论 -
spark集成
选择hadoop对应版本的spark,配置spark环境变量本地启动./spark-shell --master local[2]原创 2021-03-21 20:45:38 · 197 阅读 · 0 评论 -
kafka集群
官网获取kafka二进制安装包下载地址配置kafka环境变量,与jdk配置方式一样解压修改config目录下的server.properties配置,对于kafka集群主要修改几个地方broker.id 为各个broker节点的id,所有集群不能重合listeners=PLAINTEXT://:port port为每个kafka节点启动的端口,默认9092log.dirs=/soft/data/kafka-logs log.dirs为日志数据存储的位置,不能放到tmp目录下,不然每次重启会被原创 2021-03-21 12:29:45 · 407 阅读 · 0 评论 -
flume跨服务器日志收集
通过avro收集本地flume-exec.log日志文件写入的数据到ha6服务器agent1.channels = memory-channelagent1.sources = exec-sourceagent1.sinks = avro-sinkagent1.channels.memory-channel.type = memoryagent1.sources.exec-source.channels = memory-channelagent1.sources.exec-source.t原创 2021-03-21 01:10:50 · 579 阅读 · 0 评论 -
flume监听日志文件
控制台监听打印flume-exec.log文件写入数据# Define a memory channel called ch1 on agent1agent1.channels.ch1.type = memoryagent1.channels.ch1.capacity = 1000agent1.channels.ch1.transactionCapacity = 100 # Define an Avro source called avro-source1 on agent1 and tell原创 2021-03-20 23:49:03 · 908 阅读 · 0 评论 -
org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 1818848868
测试配置引用的官网上的案例flume接收nc消息异常这个异常,是配置错误导致的。遇到有两种情况会有该异常,一种是组件之间关系写错,如名为s1的sink用的是c1的channel,但被错误的写成不存在的c2,就会有该错。第二种是source接收的是字符串类型的数据,而配置成接收序列化后的数据avro,则会报这种异常,因此只需将source type改成 netcat即可修改avro为netcat...原创 2021-03-20 22:01:33 · 1811 阅读 · 0 评论 -
分布式日志收集Flume环境部署
获取最新flume二进制安装包apach flume解压到linux指定目录,复制conf目录下cp flume-env.sh.template flume-env.sh修改flume-env.sh指定的jdk路径类似jdk配置flume环境变量flume-ng version显示版本信息说明配置成功...原创 2021-03-20 18:17:59 · 356 阅读 · 0 评论 -
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x
启动hive报的异常使用hadoop fs -chmod -R 777 /tmp修改目录权限原创 2021-01-10 20:53:13 · 516 阅读 · 0 评论 -
There are 0 datanode(s) running and no node(s) are excluded in this operation.
hadoop dfsadmin -report查看磁盘使用情况节点下存储空间都是空的,很多资料说是hadoop namenode -format格式化多次造成spaceID不一致stop-dfs.sh 和 stop-yarn.sh 停止所有服务清除core-site.xml中配置的hadoop.tmp.dir对应文件,重新执行hadoop namenode -format再重启服务...原创 2021-01-03 20:33:50 · 376 阅读 · 0 评论 -
(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby
下午在hadoop集群的一台只启动了NameNode的机器上装hive,元数据配置存的mysql,启动hive报了这个异常通过jps排查两台NameNode节点的zkfc都没启动,都是standby状态,这个是集群部署的顺序问题,两台NameNode先部署启动了,zk集群是后面部署在另外几台机器上的,这个顺序启动完zkfc没生效。在其他一台部署NameNode的机器上再执行hdfs zkfc -formatZK,然后start-dfs.sh重启,jps查看比原来多了DFSZKFailoverContr原创 2021-01-03 16:12:50 · 1788 阅读 · 0 评论