![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
photographyCat
这个作者很懒,什么都没留下…
展开
-
EXCEL数据插入hivev表格
步骤一:将excel另存为txt文档(文本文件(制表符分割))假设名字为BASIC_SP_ACCOUNT.txt步骤二,将该txt文件导入Linux指定目录中步骤三,转换编码格式,在指定目录下执行如下命令:piconv -f gb2312 -t UTF-8 BASIC_SP_ACCOUNT.txt > BASIC_SP_ACCOUNT_2.txt步骤四,根据文档中的列,创建表,...原创 2019-11-06 17:39:10 · 693 阅读 · 0 评论 -
Hive表导出成csv文件
hive -e "set hive.cli.print.header=true; select * from userdb.employees2" | sed 's/[\t]/,/g' > hhd.csvset hive.cli.print.header=true能将表头输出;sed ‘s/[\t]/,/g’ 将\t替换成,将shell里打印的内容输出到文件...原创 2019-10-11 17:15:28 · 1896 阅读 · 1 评论 -
Hive中如何复制一张分区表(包括数据)
Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table;那么如果是分区表呢?首先想到的办法可能是:先创建一张和old_table结构相同的new_table,包括分区;可以使用CREATE TABLE new_table LIKE old_...原创 2019-10-10 16:46:56 · 2401 阅读 · 0 评论 -
hive 导出数据
hive的数据导出方式hive有三种导出数据的方式导出数据到本地导出数据到hdfs导出数据到另一个表导出数据到本地文件系统insert overwrite local directory '[desFile]' select * from [srcFile]; 例: insert overwrite local directory '/home/wyp/wyp' selec...原创 2019-10-08 17:18:47 · 214 阅读 · 0 评论 -
HIVE笔记——创建表并从本地添加数据
1. 默认分隔符的建表语句#隐式的限定符语句:CREATE TABLE employees (name STRING,salary FLOAT,subordinates ARRAY<STRING>,deductions MAP<STRING, FLOAT>,address STRUCT<street:STRING, city:STRING,state:S...原创 2019-09-26 17:05:47 · 959 阅读 · 0 评论 -
Zookeeper笔记
Zookeeper为分布式程序提供协调服务,作为第三方管理一些共享数据最主要的功能:保管客户端提交的数据(极其少量的数据),每一份数据在zookeeper叫做一个znode配置Zookeeper1.上传zk安装包2.解压3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg...原创 2019-08-08 15:04:56 · 153 阅读 · 1 评论 -
大数据生态圈之MapReduce笔记
Map/**mapper阶段业务逻辑实现的类Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>*/public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ /* KEYIN:表示mapper数据输入的时候ke...原创 2019-07-29 20:24:51 · 173 阅读 · 1 评论 -
centOS克隆之后的网络配置
在VM克隆虚拟机很简单,不多说。主要的还是克隆之后需要的一些设置,因为克隆之后的IP地址等等和被克隆的是一样的。克隆之后需要修改的地方1、主机hostname可以在命令行中直接输入hostname newname,hostname会立即生效,但是重启之后就会恢复原样。永久的修改需要通过修改配置文件。(貌似centos6和7 的修改方法不一样,这里说的都是6)2、设置虚拟网卡MAC地址...原创 2019-05-18 15:58:39 · 638 阅读 · 0 评论 -
虚拟机设置静态ip
虚拟机设置静态ip在学习HADOOP阶段,安装虚拟机安装了半天。下面是关于虚拟机设置静态ip的一些笔记。为什么要设置静态ip?如果你虚拟机IP是自动获取的,难免会碰到IP经常变动,给xshell相关连接工具使用造成不便。...转载 2019-05-18 11:38:11 · 173 阅读 · 0 评论 -
实现ssh免密登录
以下为 转载linux下实现ssh免密登录百度了很多个方法 这个亲测好用设置ssh无密码登录可以提高我们主机的安全性。ssh 无密码登录要使用公钥与私钥。linux下可以用ssh-keygen生成公钥/私钥对,接下来以Centos为例。例图:实验主机A无密钥访问主机B实战部分:主机Cent65(192.168.1.65)主机Cent67(192.168.1.67)现想65通过ssh...转载 2019-05-19 11:09:14 · 135 阅读 · 0 评论