ToChangetheWorld的博客

首先是JDK的安装去官网下载1.8版本的jdk，存放到根目录下我这里在根目录下新建了两个文件，tools用来存放类似jdk这样的安装包，training用来存放解压后的文件将jdk的安装包进行解压接下来配置环境变量保存之后刷新环境变量然后查看版本，与环境变量中配置的版本一致则说明安装正确接下来就是Hadoop的安装了同样先去下载Hadoop的安装包，然后放在tools文件夹中再将其解压到train...

大数据    1、什么是大数据        简单说就是身边的一切，你看到的是，听到的是，闻到的感觉到的触摸到的都是    2、具体一点        天猫淘宝的购物数据，你的聊天记录，医疗记录，看书或者挑东西时候的推荐物品大数据的问题    1、生活中的种种数据数量如此之多，如何存储    2、要让数据有意义，又该怎么去处理海量的数据Google对大数据问题的思想    1、GFS：Google...

搭建Hadoop的本地模式    编辑Hadoop安装目录的配置文件    设置其jdk的安装路径    找到Hadoop的实例包    列出所有例子，咱们来搞这个    然后在当前目录创建临时文件夹并放入实例所需要的数据文件    写入测试数据    参看demo操作的参数(用法) -> 输入和输出都是本地路径     加上操作的参数，输入输出    完成后查看结果    查看计数的结果数...

搭建Hadoop的伪分布模式    通过修改Hadoop安装目录下的配置文件来搭建    1、hdfs-site.xml -> 配置HDFS            数据块的冗余度，默认为3，因为搭建的是伪分布环境只有一个数据节点所以配置为1，一般来说数据块的冗余度和数据节点是一致的，但是最大不要超过3，超过3后就没有实际意义了                2、core-site.xml -...

配置ssh免密登录    1、生成秘钥         ssh-keygen -t rsa(加密算法)    2、将公钥给需要登录的机器         ssh-copy-id -i .ssh/id_rsa.pub root@ip        会需要输入密码    这个里面就是保存所有公钥的地方            这样就配置成功了            相比前面的博客这次在执行start-a...

伪分布环境下的实例    输入jps查看Hadoop环境是否启动            进入Hadoop自带的实例包            创建输入数据文件夹        hdfs dfs -mkdir /input    放入数据，相关内容操作参考我的这篇本地环境搭建的文章        hdfs dfs -put data.txt /input    使用实例包并指定输入输出参数路径    ...

ALTER TABLE 表名 CHANGE 旧字段 新字段 类型;示例:  ALTER TABLE test CHANGE name ename string;