- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop学习经验分享
HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。存储文件的元数据，比如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和所在的DataNode等。在本地文件系统存储文件块数据，以及块数据的校验和。每隔一段时间对NameNode元数据备份。YetAnotherResourceNegotiator简称YARN，另一种资源协调者，是Hadoop的资源管理器。整个集群资源（内存、cpu等）的管理者。...
2022-07-26 09:39:25
219
1
原创 数据分析笔记-餐厅订单分析（三）
（7）一天中 什么时间段点菜量比较集中（8）八月份哪一天的订单数量最多（点餐数量与日期的关系）（9）查看星期几的人数最多 订单最多 把数据映射到星期运行结果：
2022-07-14 16:37:18
527
原创 数据分析笔记-餐厅订单分析（二）
（3）订单点菜种类Top10（4）订单ID点菜数量Top10（5）哪个订单ID吃的钱最多（top10）降序排列（6）哪个订单ID平均消费最高
2022-07-14 14:50:52
542
原创 机器学习笔记--Numpy
第一章：Numpy库的使用：1、对于数据集数据的处理import numpy as npworld_alcohol = np.genfromtxt('world_alcohol.txt',delimiter=',',dtype=str)# print(type(world_alcohol))ans:<class 'numpy.ndarray'># print(world_alcohol.shape)ans:(998,5) #表示数据集是由998行5列组成的# print(
2022-04-19 23:36:35
1307
原创 爬虫笔记-selenium的基本使用+元素定位+元素信息
1、selenium的基本使用首先要在python中的script终端中输入这行命令 pip install selenium另外需要下载你默认浏览器的驱动器比如笔者用的是chrome浏览器，所以在关于浏览器中查找自己浏览器的版本号我的就是96.0.4664.110，再从chrome浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html...
2022-03-05 21:29:13
345
原创 爬虫笔记-beautifulsoup4基本使用
下面是bs4的演示html文件<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body> <div> <ul> <li id="l1">张三</li>
2022-02-25 22:40:10
243
原创 爬虫笔记-xpath基本使用
此html页面是为方便解释xpath的基本功能而写的，代码如下：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"/> <title></title></head><body> <ul> <li id="1" class="c">北京</li> .
2022-02-22 22:36:26
171
原创 爬虫笔记-代理和代理池
1、代理import urllib.requesturl = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}# 请求对象的定制request = urlli..
2022-02-22 22:30:50
6416
原创 爬虫笔记-cookie登录微博
# 适用的场景:数据采集的时候 需要绕过登录 然后进入某个页面# 个人信息页面时utf-8 但是还报错了编码错误 因为并没有进入个人信息页面 而是跳转到了登录页面# 登录页面不是utf-8 所以报错# 什么情况下 访问不成功# 因为请求头的信息不够 所以访问不成功import urllib.requesturl = 'https://weibo.com/u/7520422345'headers = { # cookie中携带着你的登录信息 如果登录之后的cooki..
2022-02-22 22:28:53
1442
原创 Vue学习笔记-vuex的基本使用
## Vuex 1、概念 在vue中实现集中式状态（数据）管理一个Vue的插件，对vue应用中多个组件的共享状态进行集中式管理(读/写)，也是一种组件间通信方式，且适用于任意组件间通信 2、搭建vuex环境 1、创建文件：src/store/index.js // 该文件用于创建vuex中最为核心的store import Vue from 'vue' ...
2022-02-21 19:28:38
204
原创 爬虫笔记-Ajax请求
1、get请求豆瓣电影前十页# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&# start=40&limit=20# 下载豆瓣电影前十页的数据# 1、请求对象的定制# 2、获取响应的数据# 3、下载数据import urllib.requestimport urllib.parsedef create_request(page): .
2022-02-14 17:47:02
469
原创 爬虫笔记-post请求百度翻译案例
day031、百度翻译import urllib.requestimport urllib.parse# post请求url = 'https://fanyi.baidu.com/sug'headers = { 'user-agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}da.
2022-02-14 17:12:52
1084
1
原创 爬虫笔记-get请求两种方法
1、get请求quote方法# quote方法的作用:能够将一个词变成对应的unicode编码import urllib.request# 需求： 获取https://www.baidu.com/s?wd=周杰伦的网页源码url = 'https://www.baidu.com/s?wd='# 请求对象的定制为了解决反爬的第一种手段headers = { 'user-agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl.
2022-02-06 10:08:20
1908
原创 Vue.js学习笔记-组件的高级通信方式
组件通信方式:1、props适用于的场景:父子组件通信注意事项：①如果父组件给子组件传递数据（函数）：本质其实是子组件给父组件传递数据②如果父组件给子组件传递的数据（非函数）：本质就是父组件给子组件传递数据书写方式：['todos'],{type:Array},{type:Array,default:[]}tip:路由的props书写的形式：布尔值、对象、函数形式2、 组件的自定义事件 1、一种组件间通信的方式,适用于：子组件===>父组件 2、使用场景：A是父组...
2022-02-06 09:33:44
477
原创 Vue.js学习笔记-路由及其守卫
路由 1、理解：一个路由（router）就是一组映射关系（key-value），多个路由需要路由器（router）进行管理。 2、前端路由：key是路径，value是组价1、基本使用 1、安装vue-router，命令：npm i vue-router 2、应用插件：Vue.use(VueRouter) 3、编写router配置项 // 该文件专门用于创建这个应用的路由器 import VueRouter from "vue-r
2022-02-04 14:34:28
144
原创 Vue.js学习笔记-脚手架配置
1、vue脚手架配置代理```方法一: 在vue.config.js中添加如下配置： devServer：{ proxy:"http://localhost:5000" } 说明： 1、优点：配置简单，请求资源时直接发送给前端（8080）即可 2、缺点：不能配置多个代理，不能灵活的控制请求是否走代理 3、工作方式：若按照上述配置代理，当请求了前端不存在的资源师，...
2022-02-04 14:25:28
531
原创 爬虫笔记---每日更新
python 爬虫 day 01 1、urllib的基本使用# 使用urllib来获取百度首页的原码import urllib.request# 1、定义一个url 就是访问的地址url = 'http://www.baidu.com'# 2、模拟浏览器向服务器发送请求response = urllib.request.urlopen(url)# 3、获取响应中的页面的原码# read方法 返回的是字节形式的二进制数据# 要将二进制的数据转化为字符串# 二进制--&g
2022-02-04 11:36:53
318
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人