- 博客(9)
- 收藏
- 关注
RSS订阅原创 SecureCRT
securecrtSecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，简单地说是Windows下登录UNIX或Linux服务器主机的软件。SecureCRT支持SSH，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户机...
2019-05-26 21:32:43
223
原创 Spark学习
一、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...
2019-05-26 20:58:05
129
原创 Hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用...
2019-05-26 20:50:17
136
原创 NoSQL
NoSQL数据库与关系数据库的比较(1)关系数据库优势：以完善的关系代数理论作为基础，有严格的标准，支持事务ACID四性，借助索引机制可以实现高效的查询，技术成熟，有专业公司的技术支持。劣势：可扩展性较差，无法较好支持海量数据存储，数据模型过于死板、无法较好支持Web2.0应用，事务机制影响了系统的整体性能等。(2)NoSQL数据库优势：可以支持超大规模数据存储，灵活的数据模型可以很好地...
2019-05-26 20:35:26
240
原创 大数据应用有哪些免费的应用软件
查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来...
2019-05-20 17:04:53
1163
原创 常见的爬虫软件
前市面上常见的爬虫软件一般可以划分为云爬虫和采集器两种：所谓云爬虫就是无需下载安装软件，直接在网页上创建爬虫并在网站服务器运行，享用网站提供的带宽和24小时服务；采集器一般就是要下载安装在本机，然后在本机创建爬虫，使用的是自己的带宽，受限于自己的电脑是否关机。当然，以上不包括自己开发的爬虫工具和爬虫框架之类的。其实每个爬虫都有自己的特点，我们可以根据自己的需要进行选择，下面针对常见的网络爬...
2019-05-20 17:04:18
21874
1
原创 安装配置HBase实验报告
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-20 17:03:23
2885
原创 mapreduce编程实验报告
MapReduce分布式计算系统1、HDFS 分布式存储系统2、MapReduce 分布式计算系统3、YARN hadoop 的资源调度系统Common 以上三大组件的底层支撑组件，提供基础工具包和 RPC 框架等Map处理public class WordCountMapper extends Mapper<LongWritable, Text...
2019-05-20 17:02:22
4787
2
原创 JDK+Hadoop安装配置、集群模式搭建
JDK+Hadoop安装配置、集群模式搭建1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【Conn...
2019-05-20 17:01:59
1970
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人