![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
猎狐之刃
艺梦科技创始人
展开
-
解析Excel生成ClickHouse使用的CSV数据文件格式及导入数据时的注意事项
目前公司竞争地图数据内容特别是商品名称特殊符号多内容较复杂且有Array类型的字段,所以使用Java代码解析Excel导出符合ClickHouse数据格式标准的csv文件是比较好的方案,也更适合未来在实际项目中去应用。ClickHouse导入数据有一些格式要求,需要注意的点如下,以后遇到新情况会再更新:1、ch通常使用csv文件来导入数据,建议使用制表符\t作为数据字段的分隔符,因为使用英文逗号作为字段分隔符号对于中文数据来说会有很多意想不到的问题出现。2、ch支持Array类型的字段,但在原创 2021-08-05 17:47:16 · 2224 阅读 · 0 评论 -
修改Hive表字段名后更新Kylin Cube的步骤
1、把相关Cube给Disable掉并且Purge清理数据。2、把相关Model中的旧字段去掉后保存。3、重新Reload新的表结构。4、修改相关Model和Cube中的字段名。5、重新构建Cube数据。原创 2021-07-16 14:14:56 · 317 阅读 · 0 评论 -
ClickHouse技术总结
【术语解释】OLTP:业务类系统主要供基层人员使用,进行一线业务操作,通常被称为OLTP(On-Line Transaction Processing,联机事务处理)OLAP:数据分析的目标则是探索并挖掘数据价值,作为企业高层进行决策的参考,通常被称为OLAP(On-Line Analytical Processing,联机分析处理)ROLAP:通过列存、索引等各类技术手段,提升查询时性能。MOLAP:通过预计算提前生成聚合后的结果数据,降低查询读取的数据量,属于计算换性能方式。【产品概要】原创 2021-07-09 17:54:20 · 398 阅读 · 1 评论 -
百万量级下ClickHouse与MySQL的读操作性能对比测试
本次测试的目的在于看一下ClickHouse和MySQL在同数据量级下对于大表执行复杂读操作SQL的效率,其中MySQL使用MyISAM引擎。【测试环境】MacBook Air (13-inch, Mid 2013)1.3 GHz Intel Core i54 GB 1600 MHz DDR3macOS 10.14.6ClickHouse 21.6.6MySQL 8.0.18【测试数据表结构】MySQL表CREATE TABLE `sales_myisam` (`平台` varc原创 2021-07-09 17:32:29 · 1296 阅读 · 0 评论