![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
6月份大数据学习
代码的搬运工001
勤快的小蜜蜂
展开
-
HDFS文件系统操作及eclipse上搭建hadoop外部客户端
操作HDFS文件系统首先查看hadoop下的命令bin目录下的命令:sbin目录下的命令:这里演示些最常用的命令: 创建目录:如创建user/root路径 然后通过sbin 目录下的起始文件运行 然后通过 端口号+50070的方式通过浏览器访问 如:1...原创 2019-06-13 22:07:45 · 447 阅读 · 0 评论 -
zookeeper详解及常用命令
从用途来说:Zookeeper是Apache组织下的高性能,分布式的应用协调服务框架,是google的chubby的一个开源实现。特性原子性:更新只能成功或者失败,没有中间状态数据一致性:为客户端展示同一个视图,这是zookeeper里面一个非常重要的功能实时性:zookeeper不能保证两个客户端能公式得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口可靠性:如果...原创 2019-06-19 07:52:48 · 336 阅读 · 0 评论 -
大数据学习对MapReduce的理解浅析
MapReduce的理解浅析概述: 首先了解MapReduce,是一种编程模型,用于大规模的数据的并行运算,从数据传输的角度来看,可将它分为输出端Map(映射)和接收端Reduce(归纳)。Map是要处理数据的一部分映射,hadoop集群的文件传输的方式都是以块为单位进行运算的,这里的Map看为磁盘中的数据在内存...原创 2019-06-14 15:17:15 · 531 阅读 · 0 评论 -
eclipse中实现对hdfs文件内容简单计数
word_count单词计数代码简单实现首先创建项目,项目栏右键—>new----> other----->选择Map/Reduce—>Finish创建Mapper类,项目栏右键—>new----> other----->选择Mapper package com.hpe.wc;import java.io.IOException;...原创 2019-06-14 22:00:58 · 797 阅读 · 0 评论 -
学习大数据笔记2019-6-9
铺垫linux系统shell脚本的学习shell脚本可以简化程序员在大批量集群条件下的操作,将一些命令编辑成脚本语言运行,简单的运行脚本便可实现所需编译功能。又为何要选择在linux上进行练习呢?linux具有开源,免费。并且能跟据需求安装各种文件,linux的所有命令以文件的形式存储在系统上。并且简化版的的linux系统占磁盘空间很小400左右大小。而我安装的图形化界面安装驱动的需要2G左右...原创 2019-06-10 07:26:03 · 406 阅读 · 1 评论 -
Hive命令
启动hivebin/hiveHive几种使用方式:1.Hive交互shell bin/hive2.Hive JDBC服务(参考java jdbc连接mysql)3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiv...原创 2019-06-20 10:22:33 · 984 阅读 · 0 评论 -
大数据概览及当下实用的主流开发
在信息时代,数据的增长速度不断增加,曾经只能飞信、QQ的我们,随着4G、5G的到来,可以用智能手机刷视屏、听歌、玩手游、购物等等的事情都可以在通过网络实现。而这一个个的实现有大量的数据产生,原来的邮件、信息最多也就几百KB;而现在的一个音乐视屏少说也要好几MB。这10多倍的数据增长,为数据的存储和使用带来的难题,大数据就是因此出现在人们的视线。一、大数据 个人...原创 2019-06-10 15:29:45 · 333 阅读 · 1 评论 -
zookeeper的Api及监听类
文章目录Eclipse中API使用:1. 创建name节点,name节点的内容是zhangsan2. 创建子节点/name/sex3. 获取指定节点“/name/sex”的内容4. 删除指定节点“/name1111” (这里-1可以执行成功)watcher:监听到指定的目录有变化,会触发此方法Eclipse中API使用:ZooKeeper client = new ZooKeeper("...原创 2019-07-05 21:02:59 · 428 阅读 · 0 评论