qq_39968384的博客

原创 MapReduce分布式编程

Mapper负责“分” 分解计算任务，规模大大缩小； “计算向数据靠近” ； 这些小任务可以并行计算。Reducer负责“汇总” map阶段的结果java程序：...

转载 Linux 下安装nosql 安装Redis 使用Redis常用命令 Linux平台安装MongoDB 使用MongoDB常用命令

Nosql的使用在说明情况下：1， 对数据的高并发读写2， 对海量数据的高效率存储和访问3， 对数据的高可扩展性和高可用性在Linux安装nosql redis：//用wget命令得到安装redis安装包[root@localhostlocal]# wgethttp://download.redis.io/releases/redis-2.8...

转载 Spark与Scala版本兼容问题 及 Spark与Scala解压安装 Spark Shell编写代码 编写独立应用程序执行词频统计 编写Scala应用程序

Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Sc...

原创 MySQL安装 卸载MySQL Hive安装与配置 MySQL Connector/J安装 启动hive Hive应用实例：wordcount

MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm③安装yu...

原创 HBase安装配置

解压及安装将压缩包从Windows传输到Linux当前目录下:解压安装到指定目录下/opt/module配置环境变量在/etc/profile文件里添加HBase及zookeeper安装路径的配置信息source /etc/profile配置生效 （基于上一个文档增加的内容）测试HBase安装成功，命令hbase version，或hbase修改配置信息修改slaves...

原创 hdfs 安装配置JDK+Eclipse+Maven 及Java程序

步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...

原创 5.Hadoop三种模式安装配置

JDK+Hadoop安装配置、单机模式配置以下操作在SecureCRT里面完成1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包Sec...

原创 爬虫——八爪鱼采集器

转载 爬虫的基本原理介绍

爬虫的基本原理介绍一、什么是爬虫爬虫：请求网站并提取数据的自动化程序百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、爬虫基本流程发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可...

转载 国内经典BI系统架构分析

自国内商业智能发展以来，就系统结构方面已经历了多次优化性的变革。目前国内商业智能BI系统的经典架构的模式包括数据层、业务层和应用层三部分。数据层基本上就是ETL过程，即数据仓库技术，是将数据从来源端经过抽取、转换、加载至目标端的过程。业务层主要是OLAP（联机分析处理）和Data Mining（数据挖掘）的过程。在应用层里主要包括数据的展示，结果分析和性能分析等过程。国内大多BI...

转载 大数据的特点

大量 大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日...

翻译 十款开源的数据库管理工具

工欲善其事，必先利其器。开发者在开发一个项目时，必定要选择一款合适的数据库，而数据库管理工具则可以帮助开发者轻松搞定很多难题。 任何Web软件和应用程序都需要强大的数据库来做后盾，目前，网上有无数个数据库管理工具，而开发者选择一款适合自己的尤为重要。小编为大家介绍10款免费的数据库管理工具，开发者可以使用它们进行SQL操作、多链接、多数据库引擎操作等等。Open KeyVal...