- 博客(12)
- 收藏
- 关注
RSS订阅原创 BeautifulSoup 与selenium
一、BeautifulSoup 1.BeautifilSoup4使用 Beautiful Soup是一个HTML/XML的解析器，主要采用lxml解析，也支持css选择器提取数据安装：pip install bs42.基本流程 #导入BeautifulSoupfrom bs4 import BeautifulSoup#准备字符串html = ''' <html>..... .... <...
2021-09-05 21:36:12
1406
原创 窗口函数小总结
窗口函数1.over关键字(1) 定义窗口 (开窗方式和大小)(2) OVER()用于将当前行与一个聚合值进行比较。salary - AVG(salary) OVER() AS difference(3) 窗口函数在WHERE 子句后执行2.partition by1）普通的聚合函数用GROUP BY分组，每个分组返回一个统计值；而分析函数采用PARTITION BY分组，并且每组每行都可以返回一个统计值2）在执行顺序上： FROM > WHERE > GR
2021-09-05 16:22:23
619
原创 多任务与数据埋点
多任务和网络编程2. 多任务的概念多任务是指在同一时间内执行多个任务3. 多任务的执行方式并发:在一段时间内交替去执行任务并行:多个内核是真正的一起执行软件。这里需要注意多核cpu是并行的执行多任务，始终有多个软件一起执行。...
2021-09-02 17:44:19
117
原创 爬虫局部小总结
爬虫requests模块安装命令如下：pip install requests或者pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simplerequests 模块的基本使用1.发请求1.1 requests 发送 GET 请求response = requests.get(url, headers={}, params={}，proxies={})1.2 requests 发送 post 请
2021-09-02 17:43:39
97
原创 第七次课作业
import org.apache.spark.{SparkConf, SparkContext}#导入需要的类object MaxAndMin { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(“MaxAndMin“).setMaster("local") #设置一些配置 val sc = new SparkContext(conf) #连接Spa.
2021-06-27 11:41:25
123
原创 spark第六次课
import org.apache.spark.{SparkConf, SparkContext}#导入需要的类object TopN { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("TopN").setMaster("local") #设置一些配置 val sc = new SparkContext(conf) #连接SparkMaster...
2021-06-27 11:16:01
272
1
原创 spark代码解析
import java.io.Fileimport scala.io.Sourceimport collection.mutable.Map#导入需要的类object WordCount {def main(args: Array[String]) {val dirfile=new File("testfiles") #根据当前文件夹下testfiles文件夹（包含若干文本文件），建立一个File对象。 ...
2021-06-27 10:17:31
651
原创 动画css3
1.四大浏览器前缀-o- :opera-ms- :ie -moz- :火狐 -webkit- :谷歌 2.css3动画（1）transition过渡动画 ---- 起点到终点平稳过渡a.主要属性transition-property 过渡属性transition-duration 过渡时间transition-delay 延迟时间transition-timing-function 运动类型 ease:逐渐变慢（默认）all[attr] linear:匀速
2021-05-29 09:13:53
48
原创 css3+html5笔记
1.html5表单1.1 新增input元素的种类search:搜索输入框tel:电话号码输入框url:输入url地址email:邮件输入框number:数字输入框range:特定范围内的数值选择器（通过拖动滚动条改变一定范围的数字）color:颜色选择器 只在Opera和 Blackberry浏览器datetime：显示完整日期和时间datetime-local:显示当地时间time：显示到时间month：显示到月week：显示到周1.2 表单新特性placeholder：
2021-05-29 09:11:10
92
原创 js基础语法
1.初识javascriptJS的组成:ECMAScript: javascript语法DOM: 页面文档对象模型(API)BOM: 浏览器对象模型(API)2.变量2.1 声明变量 赋值 初始化var age; //声明变量age = 10; //赋值var age = 10; //初始化2.2 变量语法 更新值(同一个变量名赋值，以最后一个为准) age = 18; var age = 18,myname = 'hu';//声明多个变量2.3
2021-05-29 08:44:59
98
原创 前端js学习随笔--DOM
1.js基础与Web APIs两阶段的关联性js基础学习ECMAScript基础语法为后面做铺垫，Web APIs是JS的应用，大量使用JS基础语法做交互效果2.API与Web APIsAPI一些工具接口,实现某种功能Web API是浏览器提供的一套操作 浏览器功能(BOM) 和 页面元素(DOM) 的API3.DOM文档：一个页面就是一个文档，用document表示元素：页面中所有标签都是元素，用element表示节点：网页中所有内容都是节点(标签、属性、文本、注释等)，用node表示D
2021-05-28 22:59:21
133
原创 爬取汉字五行元素,并存入数据库
爬取汉字五行元素,并存入数据库源码我放在了最后(嘿嘿),希望对你有用1 实验目的实现数据标题收集并可视化2 实验任务爬取汉字五行元素并选择角度实现可视化:我选择的主题:可视化爬取数据中,字的笔画分布,用饼图可视化3 实验环境Python3.7+Anaconda3(spyder)4 实验步骤安装pyecharts库等可视化时需要的库分析网页通过分析网页结构标签,爬取每个字单独的网页网址,如图1,以及分析如何定位汉字模块,如图2 图1图2编写爬取网址的爬虫
2020-11-22 16:09:03
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人