![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mysql
lee_moonj
For Sharing
展开
-
sqoop import 导入到hive后数据量变多的问题
使用sqoop import 命令从postgresql导入数据到hive中,发现数据行数变多了,但是任务没有跑错,非常奇怪。导入语句为:sqoop import --connect jdbc:postgresql://*.*.*.*:5432/database_name --username name111 --password password111 --table table11...原创 2019-11-06 16:58:57 · 3115 阅读 · 2 评论 -
python安装mysql的依赖包mysql-python
一般情况下,使用pip命令安装即可:[root@dthost27 ~]# pip install mysql-python但是在实际工作环境中,往往会安装失败,这是因为系统缺少mysql的相关依赖组件。所以必须先安装mysql-devel类的包,而且必须要对应好mysql客户端的版本,即要安装好:[root@dthost27 ~]#rpm -ivh mysql-community-l...原创 2019-05-24 14:03:57 · 8515 阅读 · 0 评论 -
用mysql记录从url返回的http GET请求数据
业务场景需求及实现逻辑分析在业务中,我们经常会碰到需要用HTTP GET请求数据的情况,比如http请求返回的结果如下所示:那么,如果我们想将这些数据用mysql存储下来,那该怎么实现呢?其实,调用python的httplib和MySQLdb包将会非常容易实现,httplib负责获取url的返回,MySQLdb负责对MySQL数据库进行操作。下面整理了关系逻辑图:那么,我们开始代码开发...原创 2019-05-27 11:30:57 · 2508 阅读 · 0 评论 -
往hive导入查询数据全为NULL,但导入过程无报错,mysql/postgresql
今天导数遇到一个问题,通过sqoop import从 postgresql导数据到hive中后,发现查询出来全部都是空的:检查导入命令,没有错啊:[root@dthost25 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/xxxxdb --username xxxx --password xxxxxxx ...原创 2019-06-06 12:19:43 · 4273 阅读 · 0 评论 -
sqoop export导出 map100% reduce0% 卡住的多种原因
我称这种bug是一个典型的“哈姆雷特”bug,就是指那种,报错情况相同但网上却会有各种五花缭乱解决办法的bug,让我们不知道哪一个才是症结所在。先看导入命令:[root@host25 ~]# sqoop export --connect "jdbc:mysql://172.16.xxx.xxx:3306/dbname?useUnicode=true&characterEncoding...原创 2019-06-13 14:57:20 · 4277 阅读 · 0 评论 -
Mysql的大小写敏感问题总结
之前对mysql大小写敏感的问题不太在意,直到在工作上碰到了bug,才意识到问题的不可忽略性,于是在这简要总结一下。工作上碰到的问题回顾使用sqoop命令从hive往mysql导数据:sqoop export --connect "jdbc:mysql://172.16.xxx.xxxx:3306/database1?useUnicode=true&characterEncoding...原创 2019-08-12 16:25:10 · 1274 阅读 · 0 评论 -
从集合运算到mysql的not like找不出NULL
记一次有趣的发现:有一个表,总记录数是1000条,现在有一条查询语句:#查询语句1#找出表中id中含有‘A’或‘B’或‘C’的字段select * from table1 where id like '%A%' or id like '%B%' or id like '%C%' ;#成功查出300条嗯查询正常,有300条记录呢。然后我随便再敲一次查询语句…:#查询语句2#找...原创 2019-08-21 18:22:58 · 1393 阅读 · 1 评论