![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据
challengedream
这个作者很懒,什么都没留下…
展开
-
有关大数据框架的一些杂乱bug
1、数据分片用scala分片每行数据时,遇到最后几个字段为空值,需要用到split函数中的参数arg1split(arg0:String, arg1:Int)1、当arg1 > 0时,它限制arg0最多成功匹配arg1.length() -1次,也就是说字符串最多被分成arg1个子串。此时split会保留分割出的空字符串(当两个arg0连续匹配或者arg0在头尾匹配,会产生空字符串原创 2017-09-13 13:41:17 · 494 阅读 · 0 评论 -
各位同志,关于c3p0报错:Acquisition Attempt Failed!!! Clearing pending acquires. While trying to acquire a nee
网上很多都有让检查配置文件有没有写错 <property name="jdbcUrl">jdbc:mysql://localhost:3306/test</property> <property name="driverClass">com.mysql.jdbc.Driver</property> <property name原创 2018-03-20 14:47:58 · 24151 阅读 · 13 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——hue+hive数据库权限
由于数据库用于多个部门,每个人都可以对数据库进行增删改查,需要对数据库的操作进行权限限制。在hue界面创建登录用户hivetest在hive-site.xml的Hive和HiveServer2高级配置中添加配置<property><name>hive.security.authorization.enabled</name><value&...原创 2019-04-12 09:33:49 · 237 阅读 · 0 评论 -
继续排坑(一,数仓统一规则)
在做数据仓库的时候,最关键、最首要的工作就是导数据!导数据的时候,最关键、最首要的工作就是数据统一规则!1、空数据2、字符串中空数据3、脏数据4、字段名统一5、字段类型统一...这里要讲的是两个坑:one:第一个坑比较常见,就是第五个统一规则里面出来的,1)mysql的字段类型是tinyint(1) ,在用sqoop导数的时候,连接数据库就要有设置tinyInt...原创 2019-07-12 17:35:46 · 495 阅读 · 0 评论