- 博客(7)
- 收藏
- 关注
原创 疫情数据爬取展示
程序代码import timeimport jsonimport requestsfrom datetime import datetimeimport pandas as pdimport numpy as np#########数据抓取def catch_cityinfo(): url = 'https://view.inews.qq.com/g2/getOnsInfo...
2020-02-12 12:01:23 5685
原创 Java-MapReduce 程序案例
1.缺失值处理如果一行数据超过三个空 则剔除数据,最终输出剔除记录数程序代码:package org.mapreduce;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.m...
2019-12-19 19:37:30 410
原创 Scala-spark程序案例
1.数据去重程序代码import org.apache.spark.{SparkConf, SparkContext}//数据去重object quchong { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("数据去重").setMaster("local") v...
2019-12-19 19:34:15 454 1
原创 hadoop HA环境搭建
hadoop HA 环境搭建一、系统及软件版本linux操作系统ubuntu18.04.3hadoophadoop-2.9.0.tar.gzzookeeperzookeeper-3.4.12.tar.gzjdkjdk-8u171-linux-x64.tar.gz所有安装包已经上传至sh的家目录下后续所有操作均由sh用户完成所有软件的安装位置为/...
2019-12-16 16:05:42 141
原创 Navicat 连接Mysql 8.0以上版本报错1251的详细解决方案
从MySql5.7版本跳到了Mysql 8.0的版本,安装的时候提示加密方式已经改变,所以Navicat连接Mysql 8.0以上版本报错1251的错误如图所示:1251-Client does not support authentication protocol requested by server;解决办法: 更改加密方式;1.以root账户用户登录Mysql:C:\Users...
2019-11-29 08:57:20 622
原创 python爬虫篇--安居客
```pythonimport requestsfrom lxml import etreeimport timeimport csvurl='https://sjz.anjuke.com/sale/?from=navigation'head={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb...
2019-11-29 08:35:17 529 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人