大数据
半部论语
学习最重要且最难的不是学,而是不学!不是有用就学,而是可学可不学的都不学,才能集中大块时间学习自己真正要学的。
展开
-
hadoop伪分布式集群部署注意事项
1. Hadoop webHDFS设置和使用说明在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性:dfs.webhdfs.enabledtrue2. hadoop-env.sh export JAVA_HOME=/usr/java/jdk/ (注意/结尾,否则启动出错)原创 2015-03-23 22:06:41 · 941 阅读 · 0 评论 -
大数据批处理比较 spring batch vs flink vs stream Parallel
大数据批处理比较 spring batch vs flink vs stream Parallel摘要:本文主要通过实际案例的对比分析,选择适合自己大数据批处理的应用技术方案为什么使用批处理 ?场景数据导入导入场景需要开启事务,保证数据一致性,要么全部成功,要么全部失败实时在线处理,对响应时间有较高要求批量查询实时在线处理,对响应时间有较高要求针对以上场景,我们...原创 2020-03-14 17:28:02 · 3465 阅读 · 0 评论 -
一张图看懂大数据技术
原创 2020-01-07 13:16:01 · 458 阅读 · 0 评论 -
Druid介绍
When should I use Druid?Druid is used by many companies of various sizes for many different use cases. Check out the Powered by Apache Druid pageDruid is likely a good choice if your use case fi...翻译 2020-01-03 10:34:36 · 240 阅读 · 0 评论 -
如何学习大数据技术
学习大数据技术,首先要明确大数据的概念。大数据的概念作者认为有如下几点:1.数据的来源多样性。例如关系数据库+文本+excel等2.数据量大。TB级别的数据。3.业务应用领域。实时性高与实时性不高的应用。学习大数据应该就是要解决上述三个技术问题。针对第一个问题,就是ETL技术-数据的抽取,清洗,加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据,需要抽原创 2014-12-28 20:50:41 · 7147 阅读 · 0 评论