BigData
Alan_happy
扎实的理论基础,丰富的实践经验,及时的总结归纳
展开
-
图片详解VMware DRS资源调度技术(组图)
VMware的分布式资源调度(Distributed Resource Scheduler,DRS)可以持续不断地监控资源池的利用率,并能够根据商业需要在虚拟机中智能地分配合适的资源。通过这样的动态分配和平衡计算资源,IT架构和商业目标就可以达成同步。VMware DRS能够整合服务器,降低IT成本,增强灵活性;通过灾难修复,减少停机时间,保持业务的持续性和稳定性;减少需要运行服务器的数量以及转载 2015-07-16 08:06:09 · 789 阅读 · 0 评论 -
言语不能表达千万分之一
从机器学习谈起转载 2015-08-18 14:26:05 · 1315 阅读 · 0 评论 -
spark源码走读环境搭建
准备:1.ubuntu操作系统2.百度一下 IDEA, 到官网下载IDEA安装包 下载完成解压到指定目录下如:tar -zxvf xxx,xxx -C /opt/idea运行/optt/idea/xxx/bin/idea.sh如:sh idea.sh这个过程中可以选择安装 scala sbt 3.sbt update gen-i原创 2015-09-06 07:28:04 · 490 阅读 · 0 评论 -
spark论文
http://www.chinacloud.cn/upload/2015-01/15012705072318.pdf转载 2015-09-06 15:41:36 · 703 阅读 · 0 评论 -
spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常
2016-12-02问题:spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常解决方案:手动情况日志文件,并修改配置文件:/home/mr/spark/conf/spark-defaults.conf使spark.worker.cleanup.enabled=true,spark.worker.cle原创 2017-07-30 14:28:55 · 308 阅读 · 0 评论 -
kafka
//todo:总结kafka入门博客:kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)原创 2017-07-30 14:28:58 · 278 阅读 · 0 评论 -
用python训练机器学习
//样本数据编号,色泽,根蒂,敲声,纹理,脐部,触感,密度,含糖率,好瓜 1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,0.697,0.46,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,0.774,0.376,是 3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,0.634,0.264,是 4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,0.608,0.318,是 5,浅白,蜷缩,浊响,清晰,凹陷,原创 2017-07-30 14:29:30 · 382 阅读 · 0 评论 -
ubuntu操作系统下spark源码走读环境搭建
准备:1.ubuntu操作系统2.百度一下 IDEA, 到官网下载IDEA安装包 下载完成解压到指定目录下如:tar -zxvf xxx,xxx -C /opt/idea运行/optt/idea/xxx/bin/idea.sh如: sh idea.sh这个过程中可以选择安装 scala sbt 开始:3.sbt update gen-idea4.用idea open 该目原创 2017-07-30 14:29:33 · 264 阅读 · 0 评论 -
基于Raspberry Pi Raspbian 的 Hadoop 安装
一、安装Raspbian准备:1·Rsapberry Pi2·8G内存卡一张(格式化)3·网络(有线) 开始安装:这里使用的是官方推荐的NOOBS,将下载的NOOBS解压后,将NOOBS文件夹中的全部文件拷贝到已经格式化的内存卡中,然后将内存卡插入树莓派中,上电自动开机,出现系统安装选择界面,这里选择的是比较成熟的Raspbian操作系统(本地文件安装),也原创 2015-06-19 23:55:34 · 1423 阅读 · 0 评论 -
spark论文
http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdfhttp://rdc.taobao.org/?p=2024http://www.csdn.net/article/2013-07-08/2816149-Sparkhttp://www.youtube.com/watch?v=e-56inQL5hQ转载 2015-07-05 23:53:55 · 615 阅读 · 0 评论 -
Spark 的整体流程
Spark的整体流程:Client提交应用,Master找到一个Worker启动Driver,Driver向Master或资源管理器申请资源,之后将应用转化为RDD Graph,再由DAGScheduler将RDD Graph 转化为Stage 的有向无换图提交给TaskScheduler,由TaskScheduler 提交任务给Executor执行。在任务执行过程中,其他组件协同合作,确保整转载 2015-08-01 23:57:12 · 616 阅读 · 0 评论 -
./bin/spark-shell 报错:java.net.UnknownHostException
无法解析该域名,可以将域名对应的ip写入到hosts文件中vim /etc/hostsxxx.xxx.xxx.xxx 主机名例如:192.168.1.10 helloSpark原创 2015-08-03 08:52:43 · 921 阅读 · 0 评论