bigdata
抛物线.
技术实现梦想。
展开
-
运行mapreduce任务 统计某个单词出现的次数
mapperreducerroot@master opt]# hadoop jar /opt/hadoop-2.7.6/share/hadoop/tools/lib/hadoop-streaming-2.7.6.jar -files ‘mapper.py,reducer.py’ -input /data/word.txt-output /data/out6 -mapper ./ma...原创 2019-04-23 21:01:50 · 1423 阅读 · 0 评论 -
HiveServer2服务端配置与启动
在之前的学习和实践Hive中,使用的都是CLI或者hive –e的方式,该方式仅允许使用HiveQL执行查询、更新等操作,并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求,取回结果。HiveS...原创 2019-04-23 21:08:07 · 1538 阅读 · 0 评论 -
大数据平台之MapReduce
1…在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例JAR 包hadoop-mapreduce-examples.jar。运行JAR包中的PI程序来进行计算圆周率π的近似值,要求运行5次Map任务,每个Map任务的投掷次数为5,运行完成后输出结果为。 [root@master ~]...原创 2019-06-24 15:34:21 · 545 阅读 · 0 评论 -
paas开发运维二
6.在 server 节点创建 memory 控制的 cgroup,名称为:xiandian,创建完成后 将当前进程移动到这个 cgroup 中,通过 cat 相关命令查询 cgroup 中的进程 ID, 将以上操作命令及检查结果填入答题框。 [root@server /]# mkdir /sys/fs/cgroup/memory/xiandian [root@server /]#...原创 2019-06-30 13:59:03 · 1564 阅读 · 1 评论