架构师老狼

1 数据倾斜 绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。 将数据倾斜分为单表携带了 GroupBy 字段的查询和两表（或者多表）Join 的查询。 1.1 单表数据倾斜优化 1.1.1 Map 端进行聚合 - GroupBy 操作同时聚合函数为 count 或者 sum set hive.map.aggr = true; set hive.groupby.mapaggr.checkinterval = 100000; set hive.grou

1 hadoop HA高可用 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 前提：配置zookeeper集群 1.1 HDFS HA 高可用 工作机制 元数据管理方式需要改变：内存中各自保存一份元数据；Edits日志只有Active状态的NameNode节点可以做写操作；两个NameNode都可以读取Edits；共享的Edits放在一个共享存储中管理（journal和NFS两个主流实现）； 需要一个状态管理功能模块：实现了一个zkfai

理论篇 1 推荐系统的意义 - 解决信息过载 搜索引擎时代 分类导航：雅虎 搜索：谷歌、百度 个性化时代(提高用户粘度、增加营收) 系统自动推荐相关的东西：今日头条、豆瓣、电商 2 推荐系统的分类 基于人口统计学的推荐 基于内容的推荐 基于协同过滤的推荐 3 基于人口统计学的推荐 基于人口统计学的推荐机制（Demographic-based Recommendation）是...

05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》

05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》

05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》

1 基础环境 1.1.1 关闭selinux #查看状态：/usr/sbin/sestatus #disabled vim /etc/selinux/config #重启 reboot 1.1.2 关闭防火墙 #查看防火墙规则 firewall-cmd --list-all #查询端口是否开放 firewall-cmd --query-port=8080/tcp #开放80端口...

1.2 安装配置 1.2.1 安装jdk1.8 #root vim /etc/profile export JAVA_HOME=/data/software/jdk1.8.0_191 export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jre export CLASSPATH=.:JAVAH​OME/jreexportC...

2.1 pycharm远程开发调试 2.1.1 python版本一致 #版本都保持3.6.6 #root cd /usr/local/python3/bin/pip3 list 备注：[python模块导入顺序是从sys.path中取，可以代码加入到sys.path。 当前目录->PYTHONPATH->安装目录，所以设置了PYTHONPATH，这里模块安装自动引进来。] #检查...

2.2 RDD:计算 transform->action 2.2.1 aggregate x = sc.parallelize([2,3,4], 2)[Task不能跨分片，task数为2] neutral_zero_value = (0,1) # sum: x+0 = x, product: 1*x = x seqOp = (lambda aggregated, el: (aggreg...

2.4 sparkContext IO:读 2.4.1 textFile # Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt") 2.4.2 hadoopFile 2.4.3 newAPIHadoopFile ...

2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器（java） @SuppressWarnings("static-access") private void handleSocket() { lock.lock(); Writer writer = null; RandomAccessFile

2.6.1 方案的选择 总结： 1）Spark定位于内存计算框架：分布式计算RDD、实时计算spark stream、结构化查询saprkSQL、数据挖掘spark.ML 2）类比hadoop生态：分布式存储hdfs、数据仓库hive(meta、数据存储基于hdfs)、yarn分布式资源调度、nosql数据库hbase 3）综合优化方案：sparkSQL做多数据源IO接入，RDD做数据清理、转换...