bug
宇智波云
这个作者很懒,什么都没留下…
展开
-
大数据bug-idea(一:本地和git冲突问题)
Your local changes would be overwritten by merge. Commit, stash or revert them to proceed.原创 2022-08-03 17:32:28 · 649 阅读 · 0 评论 -
大数据bug-sqoop(一:同步mysql类型为tinyint到hive)
一:为什么在mysql会出现tinyint类型?因为在mysql中,不存在布尔类型,所以使用tinyint来代表布尔类型。但是在同步到hive中,也会显示出来布尔类型,就是true和false。二:怎么做?可以在mysql中在建立一张表,将新建立的表修改为int类型,之后在进行同步。修改sqoop的同步脚本。官网解释如下:Mysql中存在tinyint(1)时,在数据导入到HDFS时,该字段默认会被转化为boolean数据类型,导致数据内容丢失(都变为NULL)。解决方案:在–co原创 2022-03-25 15:35:18 · 3188 阅读 · 0 评论 -
大数据bug-datax(一:主键update)
一:datax的writeMode参数。insert这个参数可以设置为insert,这样子就是对于同步的主键进行设置。主要主键存在,那么在更新的时候,就不会将结果表中的数据进行修改。只会增加新的数据。update在同步到时候,设置主键,那么会查看表中主键内容的数据,如果有变动,就会直接进行替换。...原创 2022-03-24 14:30:36 · 8478 阅读 · 3 评论