lixujie2527-CSDN博客

原创 Spark

一：安装、解压，测试，启动1：①解压tar –zxvf scala-2.12.8.tgz②修改配置文件/root/rtc/profile③测试scala-version④启动scala2：①解压tar –zxvf spark-2.4.2-bin-hadoop2.7.tgz②修改配置文件/root/rtc/profile③修改配置文件spark-env.sh④修改配置文件slaves...

2019-05-24 20:50:25 139

原创 NoSQL

一：Nosql安装与运行1：安装，解压 tar zxvf2：复制到/root/opt/module目录下3：生成sudo make4：测试sudo make test5：安装sudo make install运行1：启动服务器：在桌面目录2：启动客户端：在新终端中运行如下代码二：基本配置与启动1：基本配置①：在源文件/root/opt/module目录下，文件redis.co...

2019-05-23 10:02:56 132

原创 MapReduce分布式编程

一、配置软件环境二、创建mavenproject1：添加依赖包→点击File-Project Structure2：打开后点击左侧Modules，然后点击Dependencies3：点击右侧+，选择JARs or directories，将下图所有依赖包的目录导入三：编写代码新建一个类名为WordCount四：配置编译环境1：点击Run-Edit Configuration2：点...

2019-05-21 20:38:03 165

翻译大数据分析软件——Druid

Druid 单词来源于西方古罗马的神话人物，中文翻译成德鲁伊。 Druid 是一个分布式的支持实时分析的数据存储系统（Data Store）。于2011 年创建了Druid 项目，并且于2012 年晚期开源了Druid 项目。 Druid 设计之初的想法就是为分析而生，它在处理数据的规模、数据处理的实时性方面，比传统的OLAP 系统有了显著的性能改进，而且拥抱主流的开源生态，包...

2019-05-21 20:09:44 216

翻译大数据基本知识

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量...

2019-05-21 20:09:26 1908

爬虫技术概述网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的U...

2019-05-21 20:08:54 3915

原创 Hive

一：MySQL安装1：官网下载mysql-server（yum安装）→下载安装wget：yum -y install wget2：解压rpm -ivh mysql-community-release-el7-5.noarch.rpm3：安装yum install mysql-community-server4：重启mysql服务：service mysqld restart5：进入mys...

2019-05-19 14:29:41 100

原创 HBase安装配置

一：HBase安装配置1：下载压缩包hbase-1.4.9-bin.tar.gz2：将压缩包从Windows传输到Linux当前目录下→put c: /hbase-1.4.9-bin.tar.gz3:安装，解压安装到指定目录下/root/opt/module→tar -zxvf /hbase-1.4.9-bin.tar.gz -C /root/opt/module4:配置环境变量...

2019-05-19 14:02:25 159

原创 HDFS命令和Java API

一：安装配置JDK+Eclipse+Maven1:安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac。2:安装Eclipse①官网下载Eclipse安装包eclipse-ins...

2019-05-19 13:36:58 150

原创 Hadoop安装配置说明

一：VMWare 12安装激活二：CentOS7安装虚拟机开启后设置网络与主机名，及ROOT用户名密码三：SecureCRT安装安装完成后不运行程序，复制压缩包中的Kg_ttrar.exe程序到安装目录。运行Kg_ttrar.ex，点击Patch按钮两次，分别加载两个默认文件，对源程序（即所安装程序的主程序）打补丁四：SecureCRT新建Session修改外观安装CentOS时的以太...

2019-05-19 13:08:19 101

lixujie2527的博客