- 博客(9)
- 收藏
- 关注
RSS订阅原创 学习大数据之hive
学习hive前言：在互联网界，有一群人专门钻研数据库，擅长使用sql语句处理数据，在之前的学习中，我们明确了hdfs在大数据中的地位，我们处理大数据时，一般使用mapreduce 进行处理，这使得居于数据库的sql语句没有了用武之地，而每次查询hdfs中的数据，使用mapreduce有比较麻烦，用一句俗话说，懒人推动世界，于是就有了hivehivehive是基于Hadoop的一个数据仓库...
2019-06-19 21:30:43
159
转载 学习大数据之zookeeper
学习笔记之zookeeper概念ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。...
2019-06-18 21:16:00
138
转载 学习大数据之mapreduce
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
2019-06-14 20:52:25
132
原创 学习大数据之hadoop-day4
hadoop ApI 和 开发环境搭建今天主要学习，hadoop ApI 一些Hadoop的命令，并且将hadoop 和IDE 搭建了开发环境，并且，使用测试类进行了一些简单的命令测试小结hadoop API上传文件 hadoop fs -put 文件 hdfs文件夹 hadoop fs -put test.txt /files #将test.txt文件上传到hdfs文件夹...
2019-06-13 21:00:43
172
原创 学大数据之hadoop-day3-hadoop伪分布式搭建
学习大数据之Hadoopday3 hadoop伪分布式的搭建首先做好准备工作1 jdk java8 版本以上2 hadoop 的安装包，本人使用的是 hadoop-2.6.5.tar.gz3 网络环境良好开搞1 首先我们把 jdk ，hadoop 的安装包上传到 Linux中（个人建议上传到统一的文件夹，方便管理）ps：我们可以使用xftp上传，或者使用rz命令上传（可以...
2019-06-12 19:42:05
97
原创 学习大数据之hadoop day2
学习大数据之hadoop day2secendaryNamenodeSecendaryNamenode 看上去 好像Namenode 的替代品 ，但是加上和namenode功能不太一样SecendaryNamenode（以下简称snn）是用于保护Namenode（下简称nn）产生的元数据 而产生的的一个功能，我们都知道nn运行时所产生的元数据是储存在内存中的，我们都知道，如果内存断电，或...
2019-06-11 21:04:03
108
原创 学习大数据笔记之hadoop day1
第一天学习大数据今天学习大数据，我说一点我个人对于大数据的看法：正如马云所说，我们还没弄清楚什么是pc互联网 ，移动互联网就来了，当我们还在学习移动互联网的时候 ，这时候大数据时代来了我觉得这是时代发展和科技进步所带了的必然结果，我们在享受信息大爆炸时代所带来的便利的同时，就会有人思考，如果我掌握了一个人的某方面的大量样本，是不是能对一个人的某方面行为进行评估，预测 。从而可以进行特定的商...
2019-06-10 20:54:36
102
原创 学习Linux总结-day1之shell脚本-循环
学习Linux总结-day1之shell脚本-循环我们在学习其他高级语言的时候，学习循环 都学过那些？for while do while 一般来说就这三个我今天在学习shell脚本主要学习了 for 和 while 循环（ps:linux 中没有 do while）话不多说 先上段代码for((i=1;i<=9;i++ ))...
2019-06-10 10:11:18
163
原创 学习Linux总结-day1之shell脚本-if
学习Linux总结-day1之shell脚本-if就我个人来说其实有一点C语言基础的其实理解shell脚本还是比较简单的我今天你学习了关于shell脚本的写法，说的不好的地方，欢迎大家留言拍砖。1.在linux下会写shell脚本是非常重要的，下面我参照例子给大家展示几个脚本，顺带这学习shell 的语法：什么时候helloworld是必不可少的，第一个脚本肯定与helloworld是离不开...
2019-06-09 21:51:27
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人