- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux 安装MySQL后首次连接MySQL 出现Access denied for user ‘root’@‘localhost’(using password: YES)的解决方法
Linux 安装MySQL Access denied for user ‘root’@‘localhost’(using password: YES)问题解决方法
2022-01-07 19:29:02
713
1
原创 查询每周做两次核算人员
现在有三张表，请筛选出那些人符合做核算要求那些人不符合核算要求现在有三张表，请筛选出那些人符合做核算要求那些人不符合核算要求现在有三张表，一张地铁安保人员表，一张地铁保洁人员表，还有一张卫生院核酸检测人员表，要求上周做两次核算人员信息和未作两次核算人员信息，要求一周只少做两次并且间隔时间不少两天create table dtz_abry(name varchar(20) comment ‘姓名’,zjhm varchar(20) comment ‘证件号码’,lxfs varchar(20)
2021-11-16 10:32:11
181
原创 mapreduce执行过程
一、执行过程MapReduce过程分为inputmapshufflereduceoutput1.input:首先从HDFS上面读取文件，同时将大文件拆分成小文件（128M），与此同时将并组成键值对的形式2.map:将input传送过来的每个数据块调用一次map方法，并构建新的键值对3.shuffle：排序：按照键值对做一个排序分组:将key值相同的数据放到一个迭代器中4.reduce:每个分组后的数据调用一次reduce方法，构建新的键值对5.output:将reduce传递过来
2021-01-20 23:52:22
687
原创 复习Hadoop相关知识归纳
Hadoop知识点归纳版本hadoop1：是由hdfs 和MapReducehadoop2：是由hdfs，MapReduce，yarn三部分构成hadoop四大组件hadoop common功能:用于支持其他模块和其他工具的接口H新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选
2021-01-12 00:38:11
475
1
原创 如何利用request和正则表达式获取微博热搜榜
其实这个是很简单的，网上有很多教程，虽然说微博热搜榜是动态数据，但是数据存储确实可以通过HTML来获取https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6注意微博是每分钟都跟新的，因此上一分组和下一分钟数据可能不完全相同import reimport requestsfrom requests.exc...
2019-07-03 00:18:22
640
原创 如何利用正则表达式和request抓取豆瓣网热门电视剧并实现翻页
打开https://movie.douban.com/地址有变化注意啊观察到这里不要以为我找到了热映电影基本信息页了下面有更多信息加载，你点击一下或出现下面情况红色部分出现就是以为是动态数据的加载，这个时候建议你打开网页源代码页view-source:https://movie.douban.com/tv/#!type=tv&tag=热门&sort=recom...
2019-06-30 15:16:38
726
原创 补如何抓取豆瓣网正在热映电影信息以及海报
废话不多说直接上代码#!/usr/bin/env python‘’’这篇主要是获取豆瓣网正在热映电影网的电影全部信息‘’’import reimport requestsfrom requests import RequestExceptionfrom demo01.util import buid_proxyfrom urllib.parse import urlencode...
2019-06-30 00:53:22
771
原创 python爬去豆瓣网热映电影全部信息以及其海报
#!/usr/bin/env python-- coding: utf-8 --@Time : 2019/6/22 20:59@Author : LJ@Site :@File : db_playing_movie.py@Software: PyCharm‘’’这篇主要是获取豆瓣网正在热映电影网的电影全部信息‘’’import reimport reques...
2019-06-25 00:43:18
431
原创 python爬去豆瓣网电影信息以及海报命名
这篇文章是接着上篇文章的，前段时间太忙未更新，上篇文章说道海报下载及命名，按照上篇文章下载的海报会有问题就是海报破损，无法打开后面是我跟新的#!/usr/bin/env python-- coding: utf-8 --@Time : 2019/6/10 22:35@Author : LJ@Site :@File : doubantest.py@Softwar...
2019-06-22 20:40:06
526
原创 如何抓取豆瓣网电影海报信息及重命名
打开豆瓣电影url：https://movie.douban.com/找到真正存储信息的url：https://movie.douban.com/j/search_subjects?type=movie&tag=热门&page_limit=50&page_start=0在上篇文章中已经说了怎么去找动态网站的真实存储数据的url就不多说了打开网址我们这次就需要这些...
2019-06-11 07:27:58
1081
原创 爬去动态网站今日头条图片集
如何爬去爬去今日头条动态数据，网上有很多教程，我就不在啰嗦了第一步如何分析得到存储数据的真实url首先打开https://www.toutiao.com/，搜索街拍，会跳转https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D你如果用传统的方式你将的得不到任何有价值的信息这个时候你怎么办呢？你这个时候注意查看reque...
2019-06-06 22:41:03
2292
Python-3.6.7.tgz
2019-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人