S..hao

原创 服务器存储管理口地址

原创 疫情数据爬取展示

程序代码import timeimport jsonimport requestsfrom datetime import datetimeimport pandas as pdimport numpy as np#########数据抓取def catch_cityinfo(): url = 'https://view.inews.qq.com/g2/getOnsInfo...

原创 Java-MapReduce 程序案例

1.缺失值处理如果一行数据超过三个空 则剔除数据，最终输出剔除记录数程序代码：package org.mapreduce;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.m...

原创 Scala-spark程序案例

1.数据去重程序代码import org.apache.spark.{SparkConf, SparkContext}//数据去重object quchong { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("数据去重").setMaster("local") v...

原创 hadoop HA环境搭建

hadoop HA 环境搭建一、系统及软件版本linux操作系统ubuntu18.04.3hadoophadoop-2.9.0.tar.gzzookeeperzookeeper-3.4.12.tar.gzjdkjdk-8u171-linux-x64.tar.gz所有安装包已经上传至sh的家目录下后续所有操作均由sh用户完成所有软件的安装位置为/...

原创 Navicat 连接Mysql 8.0以上版本报错1251的详细解决方案

从MySql5.7版本跳到了Mysql 8.0的版本，安装的时候提示加密方式已经改变，所以Navicat连接Mysql 8.0以上版本报错1251的错误如图所示：1251-Client does not support authentication protocol requested by server；解决办法: 更改加密方式；1.以root账户用户登录Mysql：C:\Users...

原创 python爬虫篇--安居客

```pythonimport requestsfrom lxml import etreeimport timeimport csvurl='https://sjz.anjuke.com/sale/?from=navigation'head={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb...