- 博客(10)
- 收藏
- 关注
原创 Spark
一:安装、解压,测试,启动1:①解压tar –zxvf scala-2.12.8.tgz②修改配置文件/root/rtc/profile③测试scala-version④启动scala2:①解压tar –zxvf spark-2.4.2-bin-hadoop2.7.tgz②修改配置文件/root/rtc/profile③修改配置文件spark-env.sh④修改配置文件slaves...
2019-05-24 20:50:25
139
原创 NoSQL
一:Nosql安装与运行1:安装,解压 tar zxvf2:复制到/root/opt/module目录下3:生成sudo make4:测试sudo make test5:安装sudo make install运行1:启动服务器:在桌面目录2:启动客户端:在新终端中运行如下代码二:基本配置与启动1:基本配置①:在源文件/root/opt/module目录下,文件redis.co...
2019-05-23 10:02:56
132
原创 MapReduce分布式编程
一、配置软件环境二、创建mavenproject1:添加依赖包→点击File-Project Structure2:打开后点击左侧Modules,然后点击Dependencies3:点击右侧+,选择JARs or directories,将下图所有依赖包的目录导入三:编写代码新建一个类名为WordCount四:配置编译环境1:点击Run-Edit Configuration2:点...
2019-05-21 20:38:03
165
翻译 大数据分析软件——Druid
Druid 单词来源于西方古罗马的神话人物,中文翻译成德鲁伊。 Druid 是一个分布式的支持实时分析的数据存储系统(Data Store)。 于2011 年创建了Druid 项目,并且于2012 年晚期开源了Druid 项目。 Druid 设计之初的想法就是为分析而生,它在处理数据的规模、数据处理的实时性方面,比传统的OLAP 系统有了显著的性能改进,而且拥抱主流的开源生态,包...
2019-05-21 20:09:44
216
翻译 大数据基本知识
HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量...
2019-05-21 20:09:26
1908
翻译 爬虫技术基本概述
爬虫技术概述网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的U...
2019-05-21 20:08:54
3915
原创 Hive
一:MySQL安装1:官网下载mysql-server(yum安装)→下载安装wget:yum -y install wget2:解压rpm -ivh mysql-community-release-el7-5.noarch.rpm3:安装yum install mysql-community-server4:重启mysql服务:service mysqld restart5:进入mys...
2019-05-19 14:29:41
100
原创 HBase安装配置
一:HBase安装配置1:下载压缩包hbase-1.4.9-bin.tar.gz2:将压缩包从Windows传输到Linux当前目录下→put c: /hbase-1.4.9-bin.tar.gz3:安装,解压安装到指定目录下/root/opt/module→tar -zxvf /hbase-1.4.9-bin.tar.gz -C /root/opt/module4:配置环境变量...
2019-05-19 14:02:25
159
原创 HDFS命令和Java API
一:安装配置JDK+Eclipse+Maven1:安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac。2:安装Eclipse①官网下载Eclipse安装包eclipse-ins...
2019-05-19 13:36:58
150
原创 Hadoop安装配置说明
一:VMWare 12安装激活二:CentOS7安装虚拟机开启后设置网络与主机名,及ROOT用户名密码三:SecureCRT安装安装完成后不运行程序,复制压缩包中的Kg_ttrar.exe程序到安装目录。运行Kg_ttrar.ex,点击Patch按钮两次,分别加载两个默认文件,对源程序(即所安装程序的主程序)打补丁四:SecureCRT新建Session修改外观安装CentOS时的以太...
2019-05-19 13:08:19
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人