![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工业大数据
夕阳西下,断肠人在天涯
加班?哈?
展开
-
Mysql 导出数据到 MongoDB 笔记
1.准备Navicat Premium 12.1之前用的是12.0,好像不支持mongo,换成12.1就支持了。2.从mysql中导出之前试过导出为JSON和CSV,都不太理想。这里我们选择导出为Excel。如果只是要导出部分字段或部分行,可以先做查询,再导出数据。下一步都第4步,要勾选包含列的标题完成导出。3.导入到mongodb后面一直下一步即可!...原创 2021-04-13 10:26:01 · 169 阅读 · 0 评论 -
ShardingJDBC 自定义ShardingStrategyConfiguration
ShardingJDBC 自定义ShardingStrategyConfiguration昨晚平台新版本发布后,发现shardingJDBC查询时间段范围内的效率非常慢(平均20S左右),虽然分表较多(tab20191125-tab20200323,一共18张表,单表平均20W数据),但时间范围内的数据量不是非常多,理论上应该很快才对。后面再去查了下,发现我用的StandardSharding...原创 2020-03-24 14:51:13 · 4663 阅读 · 2 评论 -
Hadoop发行版本选择
Apache优点 :纯开源缺点:不同版本/不同框架之间的整合,有较多的JAR冲突CDH (https://www.cloudera.com/)优点:一键安装,起步简单缺点:不开源Hortonworks优点:开源,原装缺点:企业级安全不开源等等…推荐后二...原创 2020-02-10 11:37:56 · 253 阅读 · 0 评论 -
分布式计算框架MapReduce 简单概述
Hadoop核心组件之分布式计算框架MapReduce源于Google的MapReduce论文,是Google MapReduce的克隆版。特性易扩展容错高海量数据离线处理工作机制以上是文件中词频统计案例。...原创 2020-02-10 11:08:14 · 208 阅读 · 0 评论 -
分布式文件系统HDFS 简单概述
Hadoop Distributed File System特性易扩展容错高海量数据存储工作机制将文件切分成指定大小的数据块并以多副本的形式存储在多个机器上;数据切分,容错,多副本等操作对用户透明;...原创 2020-02-10 10:47:55 · 117 阅读 · 0 评论 -
Hadoop 简单概述
The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.分布式存储与计算Apache Hadoophttps://hadoop.apache.org/Important ModulesHadoop Distributed File Sy...原创 2020-02-10 10:28:52 · 228 阅读 · 0 评论 -
工业大数据平台开发的亲身经历
背景工业仪表仪器制造业转型,物联网起步。公司这边没有一开始就上什么分布式、大数据,估计是这个转型的阶段硬件业务都不稳定,更别说辅助的软件了。所以招人的时候就招了我一个一年经验的,对分布式和大数据这些都没接触过。第一阶段 数据收集硬件通过物联网技术上传数据到服务器,信息化系统做数据收集、展示。后台用SSM框架搭建RESTful接口工程,提供增删改查功能接口,数据库用的mysql(起步阶段,硬...原创 2020-01-07 11:23:25 · 778 阅读 · 1 评论