- 博客(3)
- 收藏
- 关注
RSS订阅原创 Excel导入SQLserver数据长度过长导入失败
先介绍一下写该博客的背景：由于最近在使用腾讯问卷统计健康信息，导出的Excel表中，备注字段填报的数据过长，最长达到346，而在执行Excel导入表操作时，会出现数据被截断错误，导致数据导入失败。百度搜索原因：发现大多数给出的原因是在导入数据过程中，生成的临时表会根据Excel的前8行或者前3行确定最大数据长度，所以后面数据长度过长，导入失败。在初始建表时给字段设置长度限制也还是报错。第一种方法：直接从任务》导入数据》选择Excel数据源，这种方式长度超过256数据无法导入成功第二种方法：.
2020-05-28 15:36:34
3032
原创 SparkSQL
===>shark基于spark、基于内存的列式存储、与hive能够兼容缺点：hiveql的解析、逻辑执行计划生成、执行计划优化依赖于hive仅仅只是把物理执行计划从mr作业替换成spark作业shark终止以后，产生了2个分支：1）hiveonsparkHive社区，源码在Hive中2）Spark SQLSpark社区，源码在Spark中支持多种数据源，多种优化技术，扩展性好很多------------------------------------...
2020-05-19 17:35:28
82
原创 HDFS
为什么很多公司选择hadoop作为大数据平台的解决方案？1）源码开源2）社区活跃、参与者很多、spark3）涉及到分布式存储和计算的方方面面：flume进行数据采集spark/MR/Hive进行数据处理HDFS/HBase进行数据存储4）已得到企业界的验证HDFS的设计目标：1）非常巨大的分布式文件系统2）运行在廉价的硬件上3）易扩展、为用户提供性能不错的文件存储服务...
2020-05-14 15:30:14
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人