- 博客(12)
- 收藏
- 关注
RSS订阅转载 CDH未启用认证的情况下安装及使用Sentry
https://yq.aliyun.com/articles/672068?spm=a2c4e.11153940.0.0.2c86698fOLUayG
2020-03-19 09:16:34
111
转载 MapReduce框架实现SQL基本操作的原理
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比...
2020-03-18 20:39:52
352
原创 hive注释中文乱码
hive注释中文乱码use hive;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;alter table PART...
2020-03-18 20:15:03
109
转载 使用cannle对mysql 数据实时同步到hbase
https://blog.csdn.net/beyond_qjm/article/details/83624896
2020-03-18 20:12:20
639
转载 sqoop sqlsever to hbase
create table student(id int,name varchar(255),score int ,home varchar(255));insert into student VALUES(1,‘yang’,90,‘beijing’);insert into student VALUES(2,‘chong’,90,‘hanghzou’);与mysql相比，只是改变了数据库连接...
2020-03-18 20:10:12
119
转载 sqoop mysql to hbase
mysql 建表create table. student(id int(11),name varchar(255));insert into student values(1,‘yang’);hbase 建表create ‘hbase_student’,‘info’查看hbase中有哪些表listhbase表不存在会自动创建–hbase-create-table \无批次sq...
2020-03-18 20:09:02
91
转载 sqoop sqlserver to hive
–全量导入hdfssqoop import –connect ‘jdbc:sqlserver://al-node3:1433;database=test’ –username sa --password 123 –table student –target-dir “/test” –delete-target-dir –split-by id -m 5–增量 导入hdfssqo...
2020-03-18 20:06:47
361
转载 sqoop hive to sqlserver
不能使用–staging-table 参数只有两种模式更新更新和插入这个参数必须要加– --identity-insert–hive建表create table if not exists test.student(id int,name string,score int,home string)row format delimited fields terminated...
2020-03-18 20:04:57
295
原创 sqoop 整库迁移
sqoop把mysql库中所有表一次性导入hdfs使用import-all-tables，它是强制性的，在该数据库中的每个表必须有一个主键字段。如果有的表没有主键会报错，提示Please specify one with --split-by or perform a sequential import with ‘-m 1’这是因为sqoop 默认四个任务，不指定–split-by，默认用...
2020-03-18 20:03:13
597
转载 sqoop hive to mysql
hive to mysql 有三种模式1、默认是把hive中的数据插入到进mysql的 表中2、更新mysql中的数据3、更新和插入mysql中的数据mysql 和 hive中空值存储转化–input-null-string ‘\N’ –input-null-non-string ‘\N’ \先把数据导入到临时表中，成功之后 再把临时表中 的数据导入到真正 的表中。避免导出部分任务...
2020-03-18 19:56:41
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人