- 博客(6)
- 收藏
- 关注
RSS订阅转载 Hadoop(二) -spark
(一)HDFS的基本操作1.HDFS的相关命令-mkdir 在HDFS创建目录 hdfs dfs -mkdir /data-ls 查看当前目录 hdfs dfs -ls /-ls -R 查看目录与子目录-put 上传一个文件 hdfs dfs -put d...
2019-09-18 17:56:00
102
转载 elk
1.elasticsearch.yml关键配置说明（无权限配置） cluster.name 集群名称，以此作为是否是同一集群的判断条件 node.name 节点名称，以此作为集群中不同节点的区分条件 network.host/http.port 网络地址和端口，用于http 和 ttransport服务使用 path.data 数据存储地址 path.log 日志存储...
2019-09-18 17:50:00
89
转载 Hadoop（一）MapReduce demo
Mapreduce基础编程模型：将一个大任务拆分成一个个小任务，再进行汇总。MapReduce是分两个阶段：map阶段：拆；reduce阶段：聚合。hadoop环境安装 安装：1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/training/2、设置环境变量： vi ~/.bash_profile HADOO...
2019-09-18 09:24:00
189
转载 异步处理rest服务
1.使用Runnable异步处理Rest服务@RequestMapping("/order")public Callable order() { logger.info("主线程开始"); Callable<String> result = new Callable<String>() { @Override ...
2019-08-31 18:03:00
119
转载 odps UDAF解析
UDAFclass odps.udf.BaseUDAF继承此类实现Python UDAF。BaseUDAF.new_buffer()实现此方法返回聚合函数的中间值的buffer。buffer必须是mutable object(比如list, dict)，并且buffer的大小不应该随数据量递增，在极限情况下，buffer marshal过后的大小不应该超过2Mb。BaseU...
2019-08-29 17:43:00
1159
转载 kafka笔记
一、zookeeper(3.5.5)（https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/）经尝试发现3.5..0及以上版本将zookeep.out文件变成了zookeeper-username-server-hostname.out，例如zookeeper-aaa-server-TP3.out。zookeeper集群安装：1...
2019-07-30 15:53:00
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人