- 博客(30)
- 收藏
- 关注
RSS订阅转载 传文件
编辑文件vim /etc/hostsIP 主机名cd /usr/local/hadoop/etc#传文件scp -r ./hadoop classnode12:`pwd`scp -r ./hadoop.tar.gz classnode12:`pwd`#改名字mv hadoop hadoop.bak#解压tar xf hadoop...
2019-09-05 16:20:00
148
转载 同步时间小插件
同步时间安装虚拟机里面vmware Tools解压到root里面cd Desktop/cd vmware-tools-distrib/./vmware-install.pl转载于:https://www.cnblogs.com/dasiji/p/11461303.html
2019-09-04 20:10:00
261
转载 ssh免密码登陆
ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsacd /root/.ssh#id_dsa 本机密钥#id_dsa.pub 公钥#将公钥放入访问方的认证文件中：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys#这是将公钥放入了本机，所以之后远程登陆本机就不需要输...
2019-09-03 20:35:00
131
转载 Hadoop部署(伪分布式系统)
hadoop安装#修改主机名hostnamectl set-hostname hadoop#修改hostsvim /etc/hosts#追加到末尾10.0.0.11 hadoop安装必备依赖包yum -y install openssh*yum -y install man*yum -y install compat-libstdc++-3...
2019-09-03 16:37:00
146
转载 CENTOS 6-7的本地YUM源配置
本文档适合CENTOS 6-7的本地YUM源配置cd /mediacd CentOS_6.8_Final/cd Packages创建目录拷贝文件mkdir /yumcp * /yum配置yum源cd /yumrpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm rpm -ivh pytho...
2019-09-03 16:14:00
312
转载 Hive远程连接
HIVE的连接模式== 本地连接模式 直接启动hive命令HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写hiveserver2 —- > 前台启动 后台启动前台启动 hiveserver2后台启动 hiveserver2 &beeline!connect jdbc:hive2://10.0.0.11:10000#或者...
2019-08-15 11:30:00
191
转载 Hive基本操作
HIVE基本操作：本地运行set hive.exec.mode.local.auto=true;创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an intege...
2019-08-15 11:29:00
81
转载 Kafka史上最详细原理总结
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Link...
2019-08-14 18:11:00
134
转载 spark安装
上传到usr\local下确定Scala是有的scala -version确定JAVA是有的java -version解压tar xvzf spark-2.0.2-bin-hadoop2.7.tgz改名mv spark-2.0.2-bin-hadoop2.7 spark添加环境变量vi /etc/profileexport SPARK_HO...
2019-08-07 15:33:00
334
转载 大数据技术
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 [1]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volum...
2019-07-26 15:49:00
233
转载 kafka安装使用配置1.2
进入cd /usr/local/flume/conf/vi kafka.conf配置agent.sources=s1agent.channels=c1agent.sinks=k1agent.sources.s1.type=execagent.sources.s1.command=tail -F /tmp/logs/kafka.logagent.source...
2019-07-25 20:48:00
132
转载 kafka安装使用配置1.1
官方文档rz上传到/usr/local/下解压 tar xzvf 文件改名 mv 文件 名字环境变量 vi /etc/profileexport KAFKA_HOME=/usr/local/kafka生成环境变量 source /etc/profile启动zkServer.sh startcd kafka/cd config/...
2019-07-25 20:42:00
277
转载 azkaban安装步骤
安装包1.得到软件包azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server-2.5.0.tar.gz2.在/usr/local下创建azkaban目录mkdir -p /usr/local/azkabancd /usr/local/azkab...
2019-07-25 20:24:00
157
转载 SQOOP.Flume原理图片
RDMBS 关系型数据库sqoop的优点：简单，而且支持select语句sqoop的缺点：纯静态的，不能捕捉动态sqoop什么时候使用：当你导大规模数据的时候，从oracle/mysql/sqoop支持并发导，并发导的优点是速度快转载于:https://www.cnblogs.com/dasiji/p/11246124.html...
2019-07-25 18:22:00
139
转载 flume安装
flume执行原理 是什么三大可新组件1.源端采集了理数据给他传输了管道中，管道加载的数据传输到下沉端，在传输到2.安装flume压缩包上传到 cd /usr/local/ 目录下手动输入 解压 tar xzvf apache-flume-1.8.0-bin.tar改名 mv apache-flume-1.8.0-bin flume添加...
2019-07-25 18:19:00
122
转载 sqoop的安装及mysql导入到hdfs及MYSQL-HIVE
sqoop的安装步骤：cd /usr/local/rz 上面文件解压 tar xzvf sqoop146n.tar.gz配置环境变量 vi /etc/profile生成环境变量 source /etc/profile最简单的使用文档1）显示mysql数据库列表sqoop list-databases --connect "jdbc:mysql:...
2019-07-25 18:09:00
155
转载 zookeeper知识
zookeeper是一个管理的作用zookeeper有一个老大叫：leader。跟着老大的有两个小弟follwer，follwer 叫做跟随者连接zookeeper的六个节点我们称它为客户端 zookeeper同步每个集群中的线程zookeeper是单个存在的转载于:https://www.cnblogs.com/dasiji/p/11246013.html...
2019-07-25 18:05:00
88
转载 zookeeper安装
安装ZOOKEEPER将压缩包上传到 /usr/local下解压tar xzvf zookeeper-3.4.8.tar.gz给解压后的文件目录改名mv zookeeper-3.4.8 zookeeper修改环境变量export ZOOKEEPER_HOME=/usr/local/zookeeperexport PATH=$PATH:$JAVA_HOME/...
2019-07-25 18:04:00
116
转载 mysql语法难点
select * from emp where comm is null or comm=0;/*没有提成的员工*/查询有提成的员工所有信息select * from emp where comm is not null and comm>0;/*有提成的员工*/找出有奖金的员工的不同工作,不要重复数据 select distinct job from emp wh...
2019-07-25 18:00:00
105
转载 mysql安装
MYSQL数据库安装文档本文档是MYSQL-5.6.25/5.7.X MARIADB在CENTOS 6.5 64位版本上安装的文档，经过测试并没有发现问题。安装以前先查看服务器里是否有老版本的MYSQL已经被安装了rpm -qa |grep mysql如果有就删除掉旧版本的MYSQL即可rpm -e （上面那条命令得到的信息） --nodeps一.解压...
2019-07-25 17:45:00
123
转载 mysql使用
查看当前实例下有多少个数据库show databases;查看表show tables；创建数据库create database jili;使用数据库use jili;删除数据库drop database jili;建表create table xxxx (字段 字段类型。。。。。) charset=utf8;excreate t...
2019-07-25 17:45:00
146
转载 Hbase知识
第一节：HBase能做什么？1.海量数据存储。2.准实时查询。上百亿行*上百亿列，实现百毫秒查询。hbase应用于海量数据存储，只有当数据量非常大的时候，Hbase才能发挥其相应的威力。比如几百万的数据量，是完全没有必要用到Hbase的。 第二节：Hbase在实际业务场景中的应用1、交通 2、金融 3、电商 4、移动第...
2019-07-25 17:41:00
158
转载 Hbase安装
上传hbase-1.2.6-bin.tar.gz 到/usr/localtar xf hbase-1.2.6-bin.tar.gz mv hbase-1.2.6 hbasevim /etc/profile#添加环境变量export HBASE_HOME=/usr/local/hbase:$HBASE_HOME/binsour...
2019-07-25 17:38:00
67
转载 什么是Hive
我们从这里开始？what is hive？Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么，到底什么是Hive，我们先看看Hive官网Wiki是如何介绍Hive的：https://cwiki.apache.org/confluence/display/Hive/hive英文定义：The Apa...
2019-07-25 17:30:00
260
转载 为什么要学习Hive
一 为什么要学习HIVE?为什么不是ORACLE和MYSQL?因为大数据时代 数据量成几何倍数增长，并且数据量非常庞大。大到要用PB EB这种量级去衡量。而我们的ORACLE/MYQL这种数据库是TB级数据库，所以远远的达不到大数据时代对数据的要求。还有由于大数据工程师主要来自两个方向：第一 JAVA工程师 不过JAVA工程师主要解决架构与业务控制 MA...
2019-07-25 17:18:00
368
转载 Hive怎么使用远程连接
HIVE的连接模式== 本地连接模式 直接启动hive命令HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写hiveserver2 —- > 前台启动 后台启动前台启动 hiveserver2后台启动 hiveserver2 &beeline!connect jdbc:hive2://10.0.0.11:10000#或者...
2019-07-25 17:17:00
891
转载 Hive分区表
分区表在Hive Select查询中，一般会扫描整个表内容(HDFS上文件的内容)，会消耗很多时间做没必要的工作。分区表指的是在创建表时，指定partition的分区空间。庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区或切片的方法减少每一次扫描总数据量，这种做法可以显著地改善性能。数据会依照单个或多个列进行分区，通常按照时间、地域或者是...
2019-07-25 17:15:00
133
转载 Hive使用
CREATE TABLE A (X STRING);CREATE TABLE () 语句已经定义完成。数据库定义完成。进行直接解释select找一张表的流程表所在的库--->在库下找所在的表HIVE CREATE TABLE A (wangxiaojia int);MYSQL INERT INTO HIVE.TBLS values (db...
2019-07-25 17:13:00
88
转载 Hive安装
1 老三样2 开启hadoop 完全开启 start-all.sh3 确认我们的MYSQL处在工作状态4 修改HIVE的配置文件cd /usr/local/hive/confhive-2.xcp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-si...
2019-07-25 17:08:00
99
转载 HDFS
创建个文件[root@hadoop ~]# cat ceshi.txt1 北京2 上海3 广东4 深圳查看占用多少空间hadoop fs -df -h将文件放入hdfs#文件名 #自己起名hadoop fs -put ceshi.txt /ceshi.txthadoop fs -put ceshi.txt /ceshi...
2019-02-27 13:57:00
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人