- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hadoop+Spark集群配置
重要参考文献：http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/准备工作操作系统：Ubuntu-14.04.1-desktop-amd64 Hadoop 版本：hadoop-2.7.2：包含文件管理系统 HDFS 和任务调度系统 YARN Spark 版本：spark-1.6.1-bin-without-hado...
2019-07-28 17:24:44
493
原创 CDN - 初理解
CDN背景：传统模式下，用户的URL请求由DNS域名解析，直接得到相应源站的IP地址，获取内容。源站在内容交付过程中，尤其是在相应大规模并发请求的情况下，由于源站本身资源受限，导致网络阻塞、相应速度缓慢的现状。相应的解决方案是：构建内容交付网络（CDN），首先通过负载均衡来调度获得距离用户最近路径的CDN节点，引入缓存Cache服务来替代租户源站，来交付用户请求的数据需求与内容，缓解源站压力，...
2019-07-27 09:46:08
479
原创 Spark - 初理解
计算引擎Spark是什么？专为大规模数据处理的快速通用的计算引擎（基于MapReduce算法实现的分布式计算）。Spark特性高级 API，可以更多精力专注于应用所要做的计算本身。Spark 提供了80多个高级运算符。 快，支持复杂算法和交互式计算。内存计算下：Spark比Hadoop快100倍。 通用引擎，运算：SQL 查询、文本处理、机器学习等。大量的库无缝组合使用：Sp...
2019-07-26 14:58:48
168
原创 Hadoop - 初理解
Hadoop是什么？大量数据进行分布式处理的软件框架，存储HDFS和计算Map/Reduce，像使用单机一样使用分布式，用户可以不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速计算和存储。Hadoop背景与现状？大型企业将Hadoop 技术运用在自身的服务中。 Hadoop解决方案的商业型公司也纷纷跟进，提供Hadoop的商业服务。 越来越多的企业将Had...
2019-07-26 10:30:05
190
原创 AI基础原理篇（一）
人工智能基础总结历史：1950：图灵测试，机器智能的度量1956 - 1974：黄金发展期1956：会议，AI研究领域诞生1958：第一个AI程序，逻辑理论家（LT）1965：医学诊断方法程序1974 - 1980：第一个冬天1980– 1987：繁荣期，决策树模型，多层人工神经网络（ANN）1987 - 1993：第二个冬天1993 – Now：爆发期...
2019-07-13 17:58:18
3634
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人