- 博客(36)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 数据挖掘与数据分析应用
实验名称数据挖掘与数据分析应用实验目的了解挖掘算法的理论基础了解线性回归算法，并通训练数据进行预测掌握数据分析常用框架的使用在实际应用能对数据进行分析，并绘图分析实验原理回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种。线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。用一个方程式来表示它，即Y=a+b*X + e，其中a表
2021-12-20 12:11:29
1118
原创 kettle+mysql+Python（Pandas，Patplotlip）实现大数据预处理（饼图，柱状图）
环境准备kettlemysql数据库Python环境要求使用预处理工具（kettle）将提供的文本数据进行清理，并导入到数据库；对清洗完成的数据进行分析统计，统计各个城市的用户在流量与语音的平均支出，并使用Python绘制成图表，保存结果；统计各个年龄阶段的用户在流量与语音的平均支出，并使用Python绘制成图表，保存结果提前看结果获取数据数据为两个不同csv文件获取百度网盘链接：https://pan.baidu.com/s/1ocLrIhY5rHAzwdKdvZr13g
2021-12-15 21:52:41
5682
1
原创 搜狗日志查询分析 (MapReduce+Hive+idea综合实验）
前提条件：安装好hadoop2.7.3（Linux系统下）安装好MySQL（Windows或Linux系统下）安装好Hive（Linux系统下）参考：Hive安装配置题目：从搜狗实验室下载搜索数据进行分析下载的数据包含6个字段，数据格式说明如下：访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL注意：1.字段分隔符：字段分隔符是个数不等的空格；2.字段个数：有些行有6个字段，有些达不到6个字段。问题：使用MapReduce和Hive
2021-12-12 19:45:35
5530
8
原创 Ubuntu16.04下安装JDK1.8
前提条件：拥有Ubuntu16.04环境安装步骤：下载JDK安装包下载版本：jdk-8u171-linux-x64.tar.gz下载方式：百度网盘：链接： https://pan.baidu.com/s/1vRUhVX_FrWr5_xisdQ344w提取码：rn04官网下载：https://www.oracle.com/technetwork/java/javase/downloads/index.html上传并解压安装包在Ubuntu终端操作：新建一个用于安装软件的目录，进入sof
2021-12-09 23:11:20
961
原创 Ubuntu16.04配置hadoop+Hbase+基础命令使用
hadoop配置还在黄金段位(jdk未安装)的上了钻石再来！！一、下载hadoop网址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/二、文件上传Ubuntu将下载好的hadoop传到ubantu自己账号的根目录下（我用的是Xftp，传输文件需要root账号登陆！如果遇到root无法登陆请自行百度（我踩过的坑））注意：配置环境要在自己的账号下，我在root账户下配置不成功（jdk也一样）三、解压1、防止错误先：cd ~
2021-12-09 22:49:05
2020
原创 npm install安装报错
执行npm install的时候一直报错：npm ERR! cb() never called! npm ERR! This is an error with npm itself. 这是知识参考文章解决办法如下：1.删除下载好的node_modules2.删除package-lock.json文件以管理员权限执行下面的命令：3.清除npm缓存 npm cache clean --force4.npm install大功告成...
2021-12-09 22:35:12
520
原创 Markdown编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-12-09 22:31:57
88
原创 Python人脸识别依赖包安装
安装CV2pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple-i后面是清华园镜像安装face_recognition 人脸识别库如果直接在cmd命令界面 输入：pip install face_recognition 如下图所示：如果第一次就会出现一系列的问题，解决此问题就安装如下步骤：一、如果你本机没有安装vistual studio，就先下载安装，我下载的是目前最新版本：通过此链接https:/
2021-12-09 22:29:38
822
原创 sqoop常用功能的使用
前提条件：安装好hadoop2.7.3（Linux系统下）安装好sqoop（Linux系统下），参考：Sqoop安装配置安装好MySQL(Windows系统下或者Linux系统下)安装好Hive（Linux系统下）参考：Hive安装配置安装好HBase（Linux系统下）参考：HBase1.3.1安装配置 HBase常用shell命令题目：一.MySQL与HDFS数据互导（相互导入导出）二.MySQL与Hive数据互导三.MySQL与HBase数据互导实验步骤：数据准备进入mys
2021-12-09 17:44:14
378
原创 解决Sqoop将mysql表数据导入到Hive时报错HiveConf和derby driver问题
执行sqoop import 语句将mysql表数据导入到Hive表 sqoop import --connect jdbc:mysql://localhost:3306/ua1 --username root --password 123 --table EMP --fields-terminated-by '\t' --num-mappers 1 --hive-database default --hive-import --hive-table hive_zhangsan出现如下HiveC
2021-12-09 12:09:20
252
原创 Sqoop安装配置
前提条件：1.安装好hadoop2.7.3（Linux系统下）2.安装好MySQL环境，并可以通过IP访问数据库（可参考：Ubuntu下安装MySQL、CentOS下安装MySQL）安装步骤：下载安装包sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，下载地址:http://archive.apache.org/dist/sqoop/将安装包上传到Linux系统的~目录下2.解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.ta
2021-12-09 11:08:19
206
原创 使用阿里云服务器配置hadoop时缺少namenode进程
配置vim /etc/hosts时如果需要重新格式化则需要删除hadoop下的logs和tmp文件再格式化格式化hdfs namenode -format
2021-12-08 23:32:12
211
原创 Flume的配置与使用
前提条件：安装好hadoop2.7.3（Linux系统下）安装好Flume，参考：Flume安装配置原理：Flume数据流模型题目：完成通过Avro Source接收外部数据源，数据缓存在memory channel中，然后通过Logger sink将打印出数据，即：avro source --> memory channel --> logger sink步骤：1.进入有权限的目录，例如~目录 cd ~2.创建配置文件avro.conf（关键）vim avro.co
2021-12-07 23:42:35
925
原创 Flume安装配置
前提条件：安装好hadoop2.7.3（Linux系统下）已安装好的截图：安装步骤：下载flume安装文件，下载地址：http://archive.apache.org/dist/flume/下载版本：apache-flume-1.8.0-bin.tar.gz将下载的文件上传到Linux的~目录下解压tar -zxvf apache-flume-1.8.0-bin.tar.gz建立软链接ln -s apache-flume-1.8.0-bin flume
2021-12-07 13:29:27
786
原创 hive操作
前提条件：安装好hadoop2.7.3（Linux系统下），参考：Ubuntu下安装Hadoop安装好hive2.3.6（Linux系统下），参考：安装Hive准备源数据：打开终端，新建emp.csv文件vim emp.csv输入内容如下，保存退出。7369,SMITH,CLERK,7902,1980/12/17,800,,207499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,307521,WARD,SALESMAN,7698,1981/2/22
2021-12-06 23:44:38
419
原创 Hive安装配置
前提条件：安装好hadoop2.7.3（Linux环境）；安装好MySQL5.7（参考：安装MySQL）用Navicat IP的方式连接到mysql数据库。并新建一个名为hive的数据库安装步骤：官网下载hive安装文件，下载地址：http://archive.apache.org/dist/hive/ 或者 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hadoop2.x需要下载hive-2.x.x，下载版本：apac
2021-12-06 22:21:13
338
原创 Ubuntu安装mysql
1.更新源sudo apt update2.安装MySql服务器和客户端sudo apt install mysql-server mysql-client3.Ubuntu18.04安装过程中没有设置密码的环节(如果有就下面的不需要做了) sudo cat /etc/mysql/debian.cnf重置用户和密码use mysql; update mysql.user set authentication_string=password('123456') wher
2021-12-06 21:12:49
985
原创 centos安装与卸载mysql与Navicat远程连接
mysql卸载与安装一、卸载1、查看是否有mysqlmysql -uroot -p或者yum list installed mysql*或者rpm -qa | grep -i mysql[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9y7sMKm3-1622438608258)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210530231403571.png)][外链图片转
2021-12-06 20:30:10
122
原创 Maven工程的MapReduce程序3---实现统计各部门员工薪水总和功能(优化)
本文在实现统计各部门员工薪水总和功能的基础上进行，还没实现的话请参考：实现统计各部门员工薪水总和功能优化项目：1.使用序列化2.实现分区Patitioner3.Map使用Combiner使用序列化本案例是在实现统计各部门员工薪水总和功能基础上进行。序列化与反序列化：序列化是指将Java对象转换为二进制串的过程，方便网络传输；反序列化是指将二进制串转换为Java对象的过程。MapReduce编程模型及编程思路：与 实现统计各部门员工薪水总和功能相比，本案例要多建立一个Employee
2021-12-05 12:39:45
1156
原创 Maven工程的MapReduce程序2---实现统计各部门员工薪水总和功能
前提条件：安装好jdk1.8（Windows环境下）安装好Maven3.3.9（Windows环境下）安装好idea（Windows环境下）安装好hadoop（Linux环境下）输入文件：将以下内容复制到Sublime/或Notepad++等编辑器，另存为EMP.csv7369,SMITH,CLERK,7902,1980/12/17,800,,207499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,307521,WARD,SALESM
2021-12-04 22:03:00
1487
原创 Maven工程的MapReduce程序1---实现WordCount功能（idea）
新建maven项目引包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac
2021-12-04 13:58:34
1153
原创 蓝桥杯大赛-填空题-明码（Java实现）
明码汉字的字形存在于字库中，即便在今天，16点阵的字库也仍然使用广泛。16点阵的字库把每个汉字看成是16x16个像素信息。并把这些信息记录在字节中。一个字节可以存储8位信息，用32个字节就可以存一个汉字的字形了。把每个字节转为2进制表示，1表示墨迹，0表示底色。每行2个字节，一共16行，布局是：第1字节，第2字节第3字节，第4字节....第31字节, 第32字节这道题目是给你一段多个汉字组成的信息，每个汉字用32个字节表示，这里给出了字节作为有符号整数的值。题目的要求隐藏在这些信息中
2021-12-03 11:33:10
650
1
原创 Ubuntu20.04安装Nginx
1.更新源sudo apt update2.安装gcc gcc-c++sudo apt install build-essential3.安装PCRE库cd /usr/local/wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gztar -xvf pcre-8.37.tar.gzcd pcre-8.37./configuremake && make ins
2021-11-09 10:12:22
2524
2
原创 Ubuntu16.04搭建hadoop真分布
前提条件有三台Ubuntu虚拟机虚拟机（可克隆实现）提示：在搭建之前先创建快照安装ssh获取远程连接以下安装均在普通用户（即：非root用户）下进行，例如：用户名为hadoop的普通用户$ sudo apt-get install openssh-server重启SSH服务$ sudo /etc/init.d/ssh restartxshell连接虚拟机查看ip地址ifconfig打开xshell连接成功三台虚拟机都连接映射ip与主机名修改主机名称为node_
2021-10-26 23:32:12
1150
1
原创 VMware下安装Ubuntu16.04服务器版
1.下载安装镜像：进入Ubuntu官网：https://ubuntu.com/download/alternative-downloads2.新建虚拟机3.启动并设置虚拟机默认回车回车选择English继续回车选择Hong Kong回车键盘布局选择no回车安装进程Hostname（主机名称）默认是ubuntu，建议改成node1，按Tab键选择继续输入名称不能有其他符号提示命名不规范重新填写 继续创建一个新用户，用户名
2021-10-21 13:29:10
193
原创 行车数据进行处理和基础分析
1、目的：使用所学技术对“强生出租车行车数据”（以下简称“行车数据”）进行处理和基础分析。2、功能要求：（1）统计一天中每个小时的全部出租车的载客与空车占比。计算出载客车总数SELECT COUNT(PassengerStatus)FROMinputmediadata_08WHEREPassengerStatus = 0得到：COUNT(PassengerStatus) = 1512022计算出空车总数SELECT COUNT(PassengerStatus)FROM
2021-10-20 23:38:53
1129
原创 用kettle将数据文本转换为mysql数据库表
前提条件安装好mysql数据库Navicat连接好数据库数据用例数据说明用Navicat连接mysql数据库新建数据库kettle根据说明创建mysql表添加字段点击保存用kettle创建转换1.新建转换拖出相应组件并连接设置文本文件输入点击显示文件我们可以看到很多TXT文件，然后点击关闭选择内容设置字段然后点击确定设置表输出数据库连接测试连接点击确定，关闭连接选择数据库表获取数据库字段点击确定，关闭表输出运行查看数
2021-10-20 21:37:56
1383
原创 HDFS API编程 (idea Maven工程）
前提条件：Linux下安装好Hadoop2.7.3Windows下安装好MavenWindows系统下安装好ideaidea配置好Maven新建好Maven工程新建一个HDFS包并创建App类修改pom.xml添加Hadoop依赖在前一行添加如下语句：没有 就创建一个 <!-- 添加相关依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <
2021-10-19 22:58:13
311
原创 启动hadoop小技巧
1. 格式化Hadoop文件系统$ hdfs namenode -format执行以上命令后，输出若看到“Exiting with status 0”为格式化成功，否者可能哪个步骤出错，请再检查前面的设置。注意：格式化只需要进行一次，以后启动hadoop前不需要再次格式化。如果多次格式化点击此处2. 启动Hadoop2.1启动HDFS$ start-dfs.shjps查看进程，能看到除了jps之外有三个进程出现，分别是：NameNode、DataNode、SecondaryNameNode
2021-10-19 21:44:59
3336
原创 hadoop多次格式化namenode造成datanode无法启动问题解决
问题出现查看日志原因分析按日志内容来看，namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode，应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致！每次格式化时，namenode会更新clusterID，但是datanode只会在首次格式化时确定，因此就造成不一致现象。在 … /hadoop-2.7.3/tmp/dfs文件下有data 和name两个文件继续cd进入 ls查看cd data/
2021-10-19 20:47:25
1535
原创 IDEA + Maven的JAVA开发环境Demo
前提条件：Windows系统下安装好Maven参考链接: Maven安装教程Windows系统下安装好IDEAIDEA配置好JDK、Maven 可参考：IDEA配置步骤1.新建Maven工程1234等待引包完成2.添加maven打包插件修改pom.xml加到前面： <build> <plugins> <plugin> <groupId>org.ap
2021-10-18 22:00:16
163
原创 shell脚本作业
作业1、石头、剪刀、布游戏 1 2 #!/bin/bash 3 4 a=$[RANDOM%3+1] 5 6 read -p "请猜拳 (1.石头 2.剪刀 3.布) " b 7 8 case "$a""$b" in 9 10 [1][2]) 11 echo "你输了，电脑石头，你出了剪刀" 7 8 case "$a""$b" in 9 10 [1][2]) 11 echo "你输了，电脑石头，你出了剪刀" 12 ;; 13 [1][
2021-07-04 17:30:29
525
原创 java实现稀疏数组及将稀疏数组存入硬盘中
1、二维数组的创建2、二维数组的输出2、稀疏数组的建立3、稀疏数组的输出4、将稀疏数组加入硬盘中package com.huaziran.SparseArray;import java.io.*;import java.util.ArrayList;import java.util.List;public class Array { public static void main(String[] args) { //创建一个11行11列的二维数组
2021-06-13 13:29:34
1507
2
原创 mysql的安装与卸载与Navicat远程连接
mysql卸载与安装一、卸载1、查看是否有mysqlmysql -uroot -p或者yum list installed mysql*或者rpm -qa | grep -i mysql2、卸载1.yum remove mysql mysql-server mysql-libs compat-mysql513.rm -rf /var/lib/mysql4.rm /etc/my.cnf如果装了mysql-devel(其他一样add command)，卸载为： yum rem
2021-05-31 13:44:37
216
原创 dos简单命令
dos命令1、盘符切换：直接输入“盘名：”eg： " D:" 2、dir：查看目录下文件3、cd change directory：改变文件目录4、cd.. :返回上一级文件5、cls：清理屏幕6、exit：退出终端7、ipconfig：查看电脑ip8、打开应用：calc；mspaint；notepad；9、ping命令：eg：ping www.baidu.com ; 得到IP地址10、cd /d：进入指定文件位置11、md：创建文件 md + 文件目录名12
2020-06-23 23:10:57
96
原创 Html利用PHP与MySQL交互
## 利用PHP实现注册1、写出html代码，并执行<!DOCTYPE html><html><head> <meta http-equiv="content-type" content="text/html; charset=utf-8" /> <title>注册</title> <style type="text/css" title="text/css" media="all">.
2020-06-18 22:05:39
741
空空如也
hbase-client-bin.tar.gz用处？
2021-07-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人