2018年12月_GYT0313

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 01-安装Spark-2.0.2--配置支持pytho3、ipython3

前言本篇博文为博主开始学习Spark技术的第一篇博客。1. 下载安装Spark-2.0.2因为参考书籍：Spark快速大数据分析使用的是Spark-1.0不支持python3，且官网下载时没有以前版本的链接，并且博主所安装的Hadoop集群为2.7.3，因此下载Spark-2.0版本。下载Spark官网链接：http://spark.apache.org/downloads.html...

2018-12-26 22:12:44 720

原创 Sqoop从MySQL导入数据到HBase使用root用户失败

报错ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES)java.sql.SQLException: Access denied for user 'root'@'maste...

2018-12-25 18:36:54 523

原创爬取赶集网招聘信息：Python3+requsts+正则+MySQL

1. 前言本次爬虫使用：Python3requsts 请求正则解析MySQL 存储2. 爬取结果示例时间：2018年12月25日，每个类别分别爬取 1 个分页，共获取：2673条数据。（运气好，一次运行完成，IP没有被限制）3. 运行须知运行前确保MySQL中已创建相应数据库、表运行过程中很可能报错退出，最可能的原因就是访问网站过多，IP被限制，需要验证，手动使用浏览器...

2018-12-25 15:36:32 638

原创运行MapReduce程序报错--java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException

java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.gyt.collaborativeFiltering.CollaborativeFilteringByUser$ColFilterMapper.&lt;init&gt;() at org.apache.hadoop.mapre...

2018-12-22 09:49:13 2219

原创协同过滤算法基于用户--使用MapReduce框架实现为用户推荐电影

package com.gyt.collaborativeFiltering;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java....

2018-12-20 20:25:01 2692 3

原创四种方法解决 -- HBase启动shell报错--ERROR: Can't get master address from ZooKeeper; znode data == null

1.报错如下：hbase(main):001:0&amp;gt; listERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expression parame...

2018-12-18 10:55:16 6227 6

原创 Sqoop相关功能操作示例

安装Sqoop：https://blog.csdn.net/qq_38038143/article/details/847280241.查看sqoop命令帮助hadoop@master:~$ sqoop help18/12/05 17:40:01 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7usage: sqoop COMMAND [ARGS...

2018-12-14 16:48:54 784

原创 JavaWeb-实现文件上传、下载-三个版本

1. 使用Comm组件https://blog.csdn.net/qq_38038143/article/details/849609932. 使用Smart组件可按文件名搜索文件https://blog.csdn.net/qq_38038143/article/details/849602932. 使用Smart组件可按文件名、文件内容搜索文件（Hadop的倒排索引技术）My...

2018-12-14 11:41:04 297

原创 JavaWeb-文件上传下载-可基于文件内容查询文件（MySQL+Servlet+Hadoop）

hdfs dfs -mkdir -p /data/fileSmartUploadhdfs dfs -mkdir -p /output/

2018-12-13 21:44:02 1340 2

原创 Linux查看Tomcat端口

分别执行命令：ps -ef| grep tomcatsudo netstat -apn | grep 7507 # 进程ID根据上条命令查看如图：

2018-12-13 21:03:46 47292

原创 JavaWeb-文件上传下载-Comm组件

最终效果：直接上代码：CSDN：https://download.csdn.net/download/qq_38038143/10843987GitHub：https://github.com/GYT0313/FileUploadDownload更加完善版：文件搜索、图片拖拽上传https://blog.csdn.net/qq_38038143/article/details/849...

2018-12-11 20:09:02 769

原创 JavaWeb-Smart组件实现文件上传下载

1.最终效果：![在这里插入图片描述2. 代码结构分析：JAVA代码共4个文件：主要功能分别如下：编码过滤器展示文件下载文件上传文件JSP页面共两个文件：主要功能分别如下：主页页面展示（上传、下载、查询等）拖拽上传图片的处理JSP页面静态文件和JAR包：3. 代码分析：SmartUploadServlet.java：使用SmartU...

2018-12-11 19:48:58 656

原创 MapReduce练习 - 倒排索引

问题描述读取多个文件的内容，计算内容在那个文件有出现，并且计算其出现的次数（权重），如下：已有三个文件，其内容如下：经过处理，其处理结果如下：以第一行为例：表示在file1.txt，file2.txt各包含1个 Hadoop。准备输入文件：上传到 hdfs://master:9000/data/indvertedIndex2:代码思路：在Mapper端：根据输入内...

2018-12-06 19:12:09 350

原创 Sqoop导入数据到Hive报错，java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

执行命令，如：sqoop import --connect jdbc:mysql://master:3306/sqoopDB --table employees --username bear --password 123456 --hive-import -m 1报如下错误：18/12/05 20:13:31 INFO hive.HiveImport: Loading uploaded...

2018-12-05 20:27:42 4118 2

原创 MarReduce小练习 - 单表关联（使用标识符）

题意：根据儿子、父母关系，输出孙子、爷奶关系：输入：&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&amp

2018-12-04 12:39:02 246

原创 Sqoop1安装-mysql测试

1. 下载安装包地址：http://www.apache.org/dyn/closer.lua/sqoop/解压：tar -zxvf soft/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ~/mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.72. 配置vim ~/.bashrc，添加...

2018-12-02 21:16:37 851

原创 Sqoop连接mysql报错-已解决

报错使用连接测试命令：sqoop list-databases --connect jdbc:mysql://master:3306/ --username bee -P报如下错误：18/12/02 20:11:44 ERROR manager.CatalogQueryManager: Failed to list databasescom.mysql.cj.jdbc.exceptio...

2018-12-02 20:19:34 13632 9

原创 Hadoop集群安装Pig

下载压缩包：http://pig.apache.org/releases.html解压：tar -zxvf pig-0.17.0.tar.gz -C ~/配置：在 ~/.bashrc 文件末尾添加，其中HADOOP_HOME为Hadoop安装路径，如HADOOP_HOME = /usr/local/hadoop：export PIG_HOME=/home/hadoop/pig-0.1...

2018-12-01 10:45:50 453

原创 Pig-使用java实现用户自定义函数编译pig.jar包错误

从SVN库中导出代码创建本地的pig.jar文件时报错：创建命令：svn co http://svn.apache.org/repos/asf/pig/trunkcd trunkant执行 ant 时报如下错误：BUILD FAILED/home/hadoop/pig-0.17.0/logs/file/trunk/build.xml:812: The following error...

2018-12-01 10:36:33 469

Google_Chrome_(64bit)_v65.0.3325.181.exe

Google Chrome是一款由Google公司开发的网页浏览器，该浏览器基于其他开源软件撰写，包括WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。旧版本-v65。

2020-01-07

ccsetup561.exe

CCleaner是一款免费的系统优化和隐私保护工具。CCleaner的主要用来清除Windows系统不再使用的垃圾文件，以腾出更多硬盘空间。它的另一大功能是清除使用者的上网记录。

2019-09-24

数据结构dsmo.rar

以图形的方式展示数据结构的各类算法。并且包括C 和 Pascal版本的源代码。包括顺序表、链表、栈、串、稀疏矩阵、广义表、二叉树、图、存储管理、静态/动态查找、内部/外部排序。

2019-05-15

MySQL-8 离线deb 包

MySQL的deb包，包括mysql核心文件和依赖文件，共10个deb包。

2019-03-27

file.rar，多种文件格式测试数据集合

多种格式的数据集合，包括如csv、txt、json、日志等等。

2019-03-13

Python-3.6.2

Python-3.6.2压缩包，可以在Linux下解压安装。。。。。

2019-03-07

mysql-8.0-deb包

注：***少了一个deb，链接：https://pan.baidu.com/s/12_4OIt4XJBpP1i76BXpLTA 提取码：e48g 。 MySQL的deb包，包括mysql核心文件和依赖文件，共10个deb包。

2019-01-03

FileSmartHadoop文件上传下载-实现基于文件内容查询文件

FileSmartHadoop文件上传下载-实现基于文件内容查询文件。使用MySQL、Hadoop技术。

2018-12-13

FileSmartUploadDownload-文件上传下载

JavaWeb实现文件上传下载，使用Comm组件，简单实现上传、下载、展示。

2018-12-11

FileSmartUpload-文件上传下载页面实现

JavaWeb编写上传、下载页面，使用主要使用SmartUpload，并且实现文件搜索、展示、图片拖拽上传。

2018-12-11

eclipse-committers-2018-09-linux-gtk-x86_64.tar

2018年9月版本的eclipse-linux：eclipse-committers-2018-09-linux-gtk-x86_64.tar

2018-11-17

hadoop2x-eclipse-plugin-original

hadoop2x-eclipse-plugin-original未配置的源码包，可用于编译hadoop-eclipse-x.y.z.jar包。

2018-10-30

hadoop2x-eclipse-plugin

已配置2.7.3版本，hadoop2x-eclipse-plugin用于编译hadoop-eclipse-2.7.3.jar包。

2018-10-30

hadoop-eclipse-plugin-2.7.3.jar

安装Hadoop-Eclipse-Plugin插件，来实现hadoop的本地运行环境插件，来实现Hadoop在Eclipse的运行。

2018-10-26

eclipse-java-mars-1-linux-gtk-x86_64.tar.gz

Linux版本的Eclipse集成开发工具，解压即可使用，可作为Hadoop开发。

2018-09-29

RedisDesktopManager

Redis的桌面化管理工具，通过此工具能够可视化的查看和管理Redis数据库。

2018-09-29

fail2ban-0.9.4.tar

fail2ban是一款实用软件，可以监视你的系统日志，然后匹配日志的错误信息（正则式匹配）执行相应的屏蔽动作。

2018-09-03

DiagramDesignerSetup1.29.1

DiagramDesignerSetup1.29.1安装包，是一款破解版中文软件。

2018-09-03

flux安装工具

f.lux创意十足很贴心的一款自动屏幕亮度色彩调节，创意在于会根据时间变化，自动调节电脑屏幕的亮度、色彩，让电脑屏幕始终适合保持在适合阅读的状态。f.lux 会据此判断日出、日落时间，分析出特定时间的光照强度，并以此为依据调节屏幕。f.lux支持 Windows、Mac 、 Linux和IPhone及IPad。

2018-09-03

Xshell后台查杀工具

Xshell的某个官方版本中被打包了恶意代码，一旦运行此版本软件，受害电脑极可能遭不法分子远程控制。由于此版本可在官方途径或自动升级中下载安装，且有正常签名，可能造成大面积传播。软件制作方已对此发布安全公告，并发布新版本解决此问题。 Xshell后门查杀工具可以用于检测和查杀Xshell后门，并指引用户更新无后门的版本。

2018-09-03