大数据
大数据工具的使用与学习
THanHan
一位来自太原市的码农。
展开
-
Hive提示警告SSL
问题:Hive能正常执行任务,但出现“WARN: Establishing SSL connection without server’s identity verification is not recommended.”告警,翻译过来就是“不建议不使用服务器身份验证建立SSL连接。”解决:进入 hive 的conf目录下修改 hive-site.xml加入&useSSL=false...原创 2020-07-15 14:49:56 · 950 阅读 · 1 评论 -
hive中的排序的使用
order byhive中如果需要对全部数据进行排序,可以使用order by操作select (查询内容) from table order by (排序条件) (升序降序) limit (展示条数);注意:如果数据量太大的话,有可能会导致一个Reducer应付不过来。sort byhive中如果数据量太大的话可以使用sort by,sort by为每个reducer产生一个排序文件,每个reducer内部进行排序,对全局结果来说并不是有序的。select (内容) f原创 2020-07-13 11:58:26 · 804 阅读 · 0 评论 -
zookeeper的集群部署
上传安装包到集群服务器解压tar -zxvf -zookeeper-3.4.5-cdh5.7.0tar(1).gz -C /usr/local修改配置文件进入zookeeper的安装目录的conf目录cp zoo_sample.cfg zoo.cfgvim zoo.cfg<!-- 修改dataDir -->dataDir=/root/zkdata<!-- 添加以下注:如果没有做映射请去vim /etc/hosts加入映射 如:192.168.xx.xxx hado原创 2020-07-09 16:36:41 · 258 阅读 · 0 评论 -
HDFS服役退役
服役新数据节点环境准备(1)克隆一台虚拟机(2)修改ip地址和主机名称(3)修改xcall和xsync文件,增加新增节点的同步(4)删除原来HDFS文件系统留存的文件服役新节点具体步骤(1)在 namenode 目录下创建 dfs.hosts 文件vim /usr/local/hadoop-2.7.2/etc/hadoop/dfs.hosts添加如下主机名称(包含新服役的节点)注:如果没有做映射请去vim /etc/hosts加入映射 如:192.168.xx.xxx hadoop10原创 2020-07-09 16:18:03 · 246 阅读 · 0 评论 -
常用的一些HDFS-Shell命令
命令练习(练习时可结合Hadoop站点观察操作结果)创建名为/abc的文件夹hdfs dfs -mkdir /abc列出根目录中的内容hdfs dfs -ls / 0递归列出多层文件夹的内容hdfs dfs -ls -R把Linux系统中/etc/hosts文件上传到HDFS中hdfs dfs -put /etc/hosts /abc/hosts向文件中追加内容hdfs dfs -appendToFile /etc/hosts /abc/hosts查看文件的MD原创 2020-06-30 14:31:48 · 330 阅读 · 0 评论 -
Linux环境下搭建hadoop环境
一,安装jdk和hadoop1,通过Xftp 6将软件包传到虚拟机上2,解压软件包tar -zxvf 需要解压的包名 -C /usr/local3,配置环境vim /etc/profilejdk:export JAVA_HOME=路径export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:$原创 2020-06-29 15:14:44 · 448 阅读 · 0 评论