![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
慧言小回
输出是为了让你更好的输入,输出可以倒逼着你输入,因为在输出的过程中,会有观点的碰撞,也必然会触及到你的知识盲区亦或是你的认知原本就是错误的,这些会反哺你,让你做更好的输入,更新和完善自己的认知。
展开
-
大数据集群搭建---《sqoop篇》 --菜鸟小回
大数据集群搭建—《sqoop篇》 --菜鸟小回创建上传安装如上篇导入mysql驱动将数据库导到hdfs上面cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin//导入 ./sqoop import --connect jdbc:mysql://192.168.80.128:3306/sqloop --username root --p...原创 2019-11-02 17:40:42 · 259 阅读 · 0 评论 -
大数据集群搭建---《hive篇》 --菜鸟小回
大数据集群搭建—《hive篇》 --菜鸟小回创建上传解压安装好mysql,需要在mysql里面创建一个数据集hivevi /etc/profilevi /etc/profile//添加export HIVE_HOME=/opt/hive/apache-hive-2.3.3-binexport PATH=$PATH:$HIVE_HOME/bin//刷新环境变量source ...原创 2019-11-02 17:28:53 · 334 阅读 · 0 评论 -
大数据集群搭建---《strom(集群)篇》 --菜鸟小回
大数据集群搭建—《strom(集群)篇》 --菜鸟小回创建上传解压同上篇配置stormcd /opt/storm/apache-storm-1.2.2/conf///在文件最后新加storm.local.dir: "/opt/storm"storm.zookeeper.servers: - "zhiyou001" - "zhiyou002" - "zhiyou00...原创 2019-11-02 17:23:27 · 166 阅读 · 0 评论 -
大数据集群搭建---《kafka(集群)篇》 --菜鸟小回
大数据集群搭建—《kafka(集群)篇》 --菜鸟小回创建:mkdir -p /opt/kafka进入:cd /opt/kafka上传解压:tar -zxvf kafka_2.12-1.1.0.tgz修改配置文件 server.propertiescd /opt/kafka/kafka_2.12-1.1.0/config/vi server.properties //修改br...原创 2019-11-02 17:22:19 · 214 阅读 · 0 评论 -
大数据集群搭建---《flume篇》 --菜鸟小回
大数据集群搭建—《flume篇》 --菜鸟小回创建:mkdir -p /opt/flume进入:cd /opt/flume上传解压:tar -zxvf apache-flume-1.8.0-bin.tar.gz修改配置文件 flume-env.shcd /opt/flume/apache-flume-1.8.0-bin/conf/mv flume-env.sh.template ...原创 2019-11-02 17:21:21 · 310 阅读 · 0 评论 -
(大数据静态处理demo)flume+hadoop+hive+sqoop+mysql
静态方法过滤数据文章目录静态方法过滤数据一、日志文件source.log二、配置flume(三台)三、启动zookeeper、hadoop、flume四、flume写入文件,自动上传到hdfs五、hive处理数据六、使用sqoop导出数据到mysql思路:分析日志文件,flume将日志文件上传到hadoop。hive获取日志信息到表一。表一清洗一遍数据到表二,表二处理结果到表三。计算出当日...原创 2019-11-02 11:42:01 · 1268 阅读 · 0 评论 -
(大数据实时动态数据处理)flume+kafka+strom;zookeeper+hadoop+hbase
flume+kafka+strom;zookeeper+hadoop+hbase(整合启动)文章目录flume+kafka+strom;zookeeper+hadoop+hbase(整合启动)@[toc]一、启动zookeeper+hadoop+Hbase二、启动flume+kafka+strom三、代码测试四、测试Topology一、启动zookeeper+hadoop+Hbasezo...原创 2019-11-01 10:14:32 · 663 阅读 · 0 评论 -
云服务器伪分布式hadoop配置+javaAPI上传下载删除操纵(踩坑总结) --菜鸟小回
云服务器伪分布式hadoop配置+javaAPI上传下载删除操纵(踩坑总结)注:本博文主要针对单台云服务器hadoop安装配置。博主使用阿里云的ECS服务器,Centos7系统,公网ip:120.27.244.176 私网ip:172.16.236.135 安全组开放所有端口,即1/65535一、准备创建:mkdir -p /opt/hadoop进入:cd -p /opt/hadoo...原创 2019-10-30 20:49:36 · 238 阅读 · 0 评论 -
大数据集群搭建---《高可用Habse篇》 --菜鸟小回
大数据集群搭建—《高可用Habse篇》 --菜鸟小回四、Hbase集群搭建确保前两项配置无误(还是先配zhiyou001主机再复制)创建:mkdir -p /opt/hbase进入:cd /opt/hbase上传:解压:tar -zxvf hbase-2.0.0-bin.tar.gz修改hbase-env.shcd /opt/hbase/hbase-2.0.0/conf/...原创 2019-10-28 14:13:30 · 373 阅读 · 0 评论 -
大数据集群搭建---《高可用hadoop篇》 --菜鸟小回
大数据集群搭建—《高可用hadoop篇》 --菜鸟小回三、hadoop集群搭建(先配zhiyou001复制给其他,配置前确保zookeeper配置完成)创建:mkdir /opt/hadoop进入:cd /opt/hadoop上传:解压:tar -zxvf tar -zxvf hadoop-2.7.3配置hadoop环境变量vi /etc/profile//添加#配置ha...原创 2019-10-25 22:03:54 · 727 阅读 · 0 评论 -
大数据集群搭建---《zookeeper篇》 --菜鸟小回
大数据集群搭建—《zookeeper篇》 --菜鸟小回二、zookeeper 集群搭建创建:mkdir -p /opt/zookeeper进入:cd /opt/zookeeper上传:解压tar -zxvf zookeeper-3.4.12.tar.gz5.配置zoo.cfgcd /opt/zookeeper/zookeeper-3.4.12/conf/mv zoo_sa...原创 2019-10-25 22:02:31 · 329 阅读 · 0 评论 -
大数据集群搭建(zookeeper、高可用hadoop、高可用hbase) --菜鸟小回
大数据集群搭建(zookeeper、高可用hadoop、高可用hbase)文章目录大数据集群搭建(zookeeper、高可用hadoop、高可用hbase)@[toc]一、准备工作1. 架构2. 三台相互免密登录3. 关闭防火墙4. zhiyou001主机中的hosts文件中配置域名(所有安装均在zhiyou001中,最后复制个另外两台。)5. 安装jdk![enter description ...原创 2019-10-25 22:01:06 · 435 阅读 · 1 评论