- 博客(11)
- 资源 (1)
- 收藏
- 关注
转载 对流处理与批处理的认识
对流处理与批处理的认识简介大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。在之前的文章中,我们曾经介绍过有关大数据系统的常规概念、处理过程,以及各种专门术语,本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计
2017-10-26 14:28:23 559
转载 Windows下单机安装Spark开发环境
机器:windows 10 64位。因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。1、Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。同时在系统变量Pat
2016-09-08 08:50:59 513
转载 Eclipse 配置问题总结
问题一:在eclipse中新建tomcat7,完成后tomcat能够正常启动,但是浏览器问题localhost:8080访问不了。 解决方法如下: 双击eclipse中服务器中的tomcat 出现tomcat的配置界面 然后Server Locations中选择如图,将Deploy path选择到tomcat目录中的webapps目录,然后保存,重启tomcat后,问题解决。
2016-08-23 14:29:53 525
原创 Cloudera Manager 5.8.1安装CDH 5.8.0权威指南
Cloudera企业级数据中心的安装主要分为4个步骤: 1. 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等; 2. 外部数据库安装,通常使用mysql 3. 安装Cloudera Manager管理器; 4. 安装CDH集群; 5. 集群完整性检查,包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。本文档纪录大数据平台的安装过程并基于以下基本
2016-08-19 11:27:17 1309
原创 mysql-5.7.14-winx64.zip 在windows8.1下的解压缩版配置安装
解压缩到指定目录 D:\program\MySQL-Server\mysql(自定义) 配置windows环境变量,在PATH中添加解压路径 其中的data文件夹新版没有自带,需要自己新建一个空的data文件夹修改my-default.ini配置文件 以管理员身份运行cmd命令窗口,进入到mysql的bin目录,并注册和初始化服务,最后重启服务,默认root用户空密码进入,大功告成!
2016-08-19 11:05:33 483
转载 Java enum的用法详解
http://www.cnblogs.com/happyPawpaw/archive/2013/04/09/3009553.html
2016-07-25 14:01:09 287
转载 Flume 入门教程
http://flume.apache.org/FlumeUserGuide.htmlhttps://blogs.apache.org/flume/entry/flume_ng_architecturehttp://shiyanjun.cn/archives/915.html
2016-07-20 15:51:23 329
原创 Spark:一个高效的分布式计算框架
Spark:一个高效的分布式计算框架概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce 的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数
2016-06-23 22:09:20 1683
转载 Java transient关键字
转载地址:http://blog.csdn.net/lanxuezaipiao/article/details/16358677
2016-06-12 11:45:57 255
转载 Android Studio或Eclipse配置百度地图详解教程
文章来源于:http://lbsyun.baidu.com/index.php?title=androidsdk/guide/introduction简介什么是百度地图Android SDK?百度地图 Android SDK是一套基于Android 2.1及以上版本设备的应用程序接口,您可以通过该接口实现丰富的LBS功能:地图:提供地图(2D
2016-05-25 15:51:22 4632
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人