- 博客(17)
- 收藏
- 关注
RSS订阅原创 PythonCrawler 13day05
PythonCrawler 13day03 xpath的使用 介绍 前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath 安装 pip install lxml Xpath语法 ...
2019-10-23 20:49:26
157
原创 JAVA面试题集锦
JAVA面试题集锦 单例模式 1.手写单例模式 2.线程安全的单例模式 什么是单例 单例类在整个程序中只能有一个实例，这个类负责创建自己的对象，并确保只有一个对象被创建。 代码实现要点 a) 私有构造器 b) 持有该类的属性 c) 对外提供获取实例的静态方法 饿汉式：线程安全、反射不安全、反序列化不安全 登记式（静态内部类）：线程安全、防止反射攻击、反序列化不安全 枚举式：线程安全、支持序列...
2019-10-22 16:28:17
214
原创 PythonCrawler 13day04
PythonCrawler 13day03 越学越懵，同学们已经开始投简历，其实大家都慌得一匹 1. re的使用 使用urllib库可以模拟浏览器发送请求获得服务器返回的数据，下一步就是把有用的数据提取出来。数据分为两种形式结构化和非结构化。 非结构化数据一般指的是文本和HTML。文本中的内容特别杂，比如有电话号码，邮箱等信息，只能使用正则表达式进行提取；HTML可以使用CSS选择器、xpath、...
2019-10-21 19:13:32
157
原创 PythonCrawler 13day03
PythonCrawler 13day03 愉快的十一假期结束了，接下来就要快乐的学习起来啊啊啊！！！ 爬虫系列进行到第三天。。。 1. ajax请求的抓取 动态加载页面信息的提取 当我们浏览一个新闻类的网站，例如微博，今日头条，知乎等，由于它的内容极多，当我们搜索某一关键词的信息后，服务器只会向我们返回少量的数据，微博和头条是返回指定数量的数据，当我们再次向下刷新的时候，会再次通过Ajax请求返...
2019-10-14 20:50:15
251
原创 Hadoop学习
专业是大数据，也终于接触到了这方面的知识，遇到无良老师，也只能画个圈圈诅咒。呜呜呜想学就自己努力吧！ Hadoop是什么？ Hadoop是一个分布式系统基础架构，可以使用户在不了解分布式系统底层细节的情况下开发分布式程序，充分利用集群进行高速存储和运算。其两大核心是HDFS和MapReduce，分别解决了大数据存储和大数据分析/计算的问题。 - HDFS(Hadoop Distributed ...
2019-09-26 14:52:15
117
原创 爬虫面试题集锦
作为即将毕业的大四人员写这类博客用于总结积累面试问题技巧，当然了这些资料来源于网络，收集起来用于自己学习和提醒 1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的? 通过headers反爬虫：解决策略，伪造headers 基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为 通过动态更改代理ip来反爬虫 基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请...
2019-09-26 11:17:00
474
原创 MySql第一天
MySQL单实例安装 1.创建MySQL虚拟用户：useradd -s /sbin/nologin mysql 2.创建存放软件的文件夹：mkdir /application 3.yum install -y lrzsz 将压缩包上传 rz 4.解压 压缩包到文件夹中：tar xf mysql-5.5.62-linux-glibc2.12-x86_64.tar.gz -C /application...
2019-09-18 20:55:54
89
原创 pythonCrawler 13day01
python crawler 接触到Python语言，感受到了它的实用性与强大，最近对Python crawler就是爬虫起了兴趣，乌拉卡卡卡卡是新手小白一枚，各方面收集了资料开始研究，如有纰漏错误请多见谅。所有练习源码在：https://github.com/xiaoazhao/pythonCrawler 爬虫是什么： 爬虫的比喻： 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是...
2019-08-29 10:21:37
120
原创 爬虫，爬取猫眼电影Top100的电影名与评分
** 爬虫，爬取猫眼电影Top100的电影名与评分 ** import requests import threading import re class maoyan_top500(threading.Thread): def __init__(self, start_, end_,lock): threading.Thread.__init__(self) ...
2019-08-22 18:02:12
1159
原创 Day 07 python线程de一天
Day 07 python线程de一天 多线程: 在一个进程内部，要同时干很多事，就需要同时执行多个子任务 那么我们把进程内的这些子任务叫做线程 线程的内存空间是共享的 每个线程都共享同一个进程的资源 模块: 1、_thread模块 低级模块 2、threading模块 高级模块 对_thread模块进行了封装 多线程类似于同时执行多个不同程序，多线程运行有如下优点...
2019-08-22 17:54:40
113
原创 Day06 python进程与线程
Day06 python的进程 一脸懵的一天 什么是进程：**进程（Process）**是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。。 狭义定义：进程是程序的一次执...
2019-08-21 19:44:00
114
原创 Day 05 python进阶
Python进阶鸭 作为新手小白，代码写的好不好先不说，但是必须要规范，给前辈留下好的印象 PEP8代码规范 代码编排：缩进4个空格，禁止空格与Tab混用 import：不要使用from xxx import * ...
2019-08-20 18:07:37
175
1
原创 Day04 python 面向对象编程基础
Day04 面向对象编程基础 学习目标 描述对象和类 定义带数据域和方法的类 使用构造方法调用初始化来创建和初始化数据域以构建一个对象 使用self参数引用对象本身 面向对象思想有三大要素：封装、继承和多态 为了简化程序的设计，我们引入了函数的概念，把相对独立且经常重复使用的代码放置到函数中，在需要使用这些功能的时候只要调用函数即可；如果一个函数的功能过于复杂和臃肿，我们又可以进一步将函数继续...
2019-08-19 19:28:16
143
原创 Day03 开始上头昂！！！
Day03 开始上头昂！！！ 知识梳理： 好啦！接下来开始说我们的字符串系列 先说一下Python转义字符 在需要在字符中使用特殊字符时，python用反斜杠()转义字符。如下表： 转义字符 描述 (在行尾时) 续行符 \ 反斜杠符号 ’ 单引号 " 双引号 \a 响铃 \b 退格(Backspace) \e 转义 \000 空 \n ...
2019-08-19 16:25:38
114
原创 Day02 python
Day02 知识梳理： 循环结构有两种：Python中构造循环结构有两种做法，一种是for-in循环，一种是while循环。 如果在知道范围的情况下进行迭代我们要推荐使用for - in循环 eg:用for循环实现1~100求和 sum = 0 for x in range(101): sum += x print(sum) 值得注意的是range也是一个前闭后开的区间。 如果在不知道要具...
2019-08-19 16:23:08
196
原创 day01 python
Day01 python烧脑第一天 知识梳理： 关于python语言 对于没有基础的人来说，python更容易上手。也是开源的得解释性语言，拥有强大的第三方库。其他的优点现在还没体会到。 安装vscode 基础语法 数据类型： Python的数字类型有int整型、long长整型、float浮点数、以及布尔值（0和1） 对于布尔值，只有两种结果即True和False、 ps:除了0和none其余都为...
2019-08-19 16:21:11
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人