明哥看世界-CSDN博客

原创【Python爬虫实战】爬取百度科技风云榜

第二篇：爬取百度科技风云榜【Python爬虫实战】：爬取百度风云榜前言：既然是一个爬虫系列教程，那么我们肯定有一个目标范围，毕竟现在互联网中的网站实在是太多。那么作为我们实战的开篇就从百度中爬取我们未来项目中要实战的目标列表好了，后续的视频素材我们将从中选取。本次目...

2020-04-15 00:21:04 694

原创【Python爬虫实战】爬虫基础及Python环境安装

前言：爬虫是Python最常见的开发项目，而爬虫本身的应用对象又是多种多样（文本、视频、图片、其它文件等等），本视频系列课程，我们将会拿出多个案例进行爬虫项目实战讲解，帮大家对爬虫项目进行实战，培养爬虫项目分析的实际过程。（本系列每个视频教程都将控制到5-6分钟左右）第一篇、爬虫基础及Python环境安装爬虫是什么：网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地...

2020-04-15 00:18:46 999

最近经常看到各平台里都有Python的广告，都是对excel的操作，这里明哥收集整理了一下pandas对excel的操作方法和使用过程。本篇介绍 pandas 的 DataFrame 对列 (Column) 的处理方法。示例数据请通过明哥的gitee进行下载。增加计算列pandas 的 DataFrame，每一行或每一列都是一个序列 (Series)。比如：import pandas as ...

2020-04-09 07:25:08 4826

原创 Python项目实战：通过jieba分词统计招聘大数据帮你找工作.md

前言：一切不经过项目验证的代码都是耍流氓，今天我们就通过一个简单的招聘网站的数据归档（数据来源请参考我的上一篇文章）进行当前热门岗位的大数据分析，最后以wordcloud进行显示。帮你分析一名合格的Python从业者到底要掌握什么样的技能。当然，这篇文章说是大数据是有点严重夸张的，看官勿深纠。相关代码下载地址请见文末整理归档文件上一篇文章中，我们采集了拉勾网的岗位数据，保...

2020-04-06 06:20:55 1119

原创 Python项目实战：使用selenium爬取拉勾网数据

前言：一切不经过项目验证的代码都是耍流氓，今天我们就通过一个简单的招聘网站的数据归档进行当前热门岗位的大数据分析，最后以wordcloud进行显示。本文为数据爬取篇项目准备：这次我们来比较完整的抓取拉勾网上面“Python”相关招聘信息以及招聘要求详情。能联网的电脑、搭建好Python3以上环境，如果环境没有配置，可以参考我原来的文章环境安装及软件下载地址。IDE这次我们采用...

2020-04-05 11:16:39 1404 1

原创 python之web开发：flask实现登陆

前台页面在前台页面中只需创建基本的表单内容，method使用get，登录和注册的action分别为/login、/registuser,代码如下所示：登陆<!DOCTYPE html><html lang="en"> <head> <title></title> <meta chars...

2020-04-02 05:15:50 2004 1

原创我是程序员，今年35岁！

大家好，今天我们来聊一聊IT行业的年龄这个敏感的话题。不知道从什么时候开始，坊间出现了这样的观点，干IT行业，35岁以后就没有公司要了。很多人对此感到担心，下半辈子怎么办？非常纠结，一方面IT行业大家都看在眼里，工资和发展都很好，这些年也着实很火，无论个人还是企业，都在主动拥抱IT和互联网。另外一方面又担心是一个吃青春饭的行业，年龄大了害怕失业，担心没人要，明哥非常理解这种纠结的心情。因为明哥今年...

2020-04-01 03:04:02 2937 1

原创爬虫实战：一键爬取指定网站所有图片（二）

前言：上一篇已经提到了实现单网页下载图片，本篇将继续讲解如何通过爬虫来实现全网站的下载。任务分析： 1、已实现指定某一网页的图片下载 2、通过获取页面的url，进行href元素值的读取，并写入到下一个Job当中，并执行读出。直接进入题：这次的功能其实比较简单，只用通过xml的值，采用xpath的方式进入读取就行了。上一篇我们定义了一个DownloadImage类，这次我们新建...

2020-03-31 23:11:05 1249 1

原创爬虫实战：一键爬光指定网站所有图片（一）

前言：最近自己在做图片处理工具，最开始的初衷只是为了做一个图片深度学习项目，做的时候缺少大量的图片素材，手动去下载自己又是比较懒，并且操作起来非常的麻烦，于是自己写了一个单页面全图片的爬虫，等自己实现完功能之后，发现又有很多功能是可以优化的，于是在这个基础上我又做了一下功能升级，最终出了一个爬取指定网站所有图片的版本，当然，这个版本还有很多可以优化的点，我会在下面的实际过程中进行说明。本篇着...

2020-03-31 06:14:05 522 2

原创 Python高级数据类型之字典、集合

上一篇我们简单对Python的基础数据类型做了说明和讲【Python高级数据类型之列表，元组】，本篇我们继续针对Python的数据类型进行高级数据类型的介绍。我们来先看一张图表：列表元组集合字典英文listtuplesetdict可否重复是是否是可否读写读写只读读写读写存储方式值值键（不能复复）键值对（键不能重复）...

2020-03-29 06:26:43 222

原创 Python高级数据类型之列表、元组

上一篇我们简单对Python的基础数据类型做了说明和讲解，本篇我们继续针对Python的数据类型进行高级数据类型的介绍。我们来先看一张图表：列表元组集合字典英文listtuplesetdict可否重复是是否是可否读写读写只读读写读写存储方式值值键（不能复复）键值对（键不能重复）是否有序有序有序无序无序（自...

2020-03-28 00:05:49 190

原创 Anaconda的安装和Jupyter Notebook使用

在之前的文章中已经介绍过Python3环境的搭建，如果你学习Python是做科学计算，那么你会有更好的开发环境的选择，那就是Anaconda，本篇中将向你介绍环境的安装，以及一个快速开发Python代码的利器Jupyter Notebook的安装。Anaconda简介 Anaconda是一个基于Python的数据处理和科学计算平台集成环境，它内置了许多非常有用的第三方库，装上Anacon...

2020-03-27 05:58:21 2552

原创 Python基础数据类型及使用

每种开发语言都有自己的数据格式，每种数据格式都有自己的应用场景，Python也不例外，本章节以最简形式来说明Python常见的数据格式。限于篇幅原因，明哥只将重点内容写出来，太细节的内容以后会在项目实践中进行补充说明。在进入正文之前，先看一段代码：if __name__ == '__main__': a = '1' b = 1 c = True d = 0...

2020-03-26 01:14:09 205

原创 Python的安装与配置

Python是一个多平台的语言，它可以使用到多个环境，包含Windows、Mac和各种Linux/Unix系统。只要Python的安装版本一致，所有平台的Python脚本都是可以执行的。（注意，Python2与Python3的语法差别很大，基本是不能兼容的）要开始学习Python编程，我们要做的第一步，就是先搭建一套属于自已的Python环境，安装后，你会得到Python解释器（就是负责运行P...

2020-03-25 06:40:27 661 1

原创 Python修改PIP国内镜像

相信大家都会碰到一个问题，python中在进行第三方扩展的更新时，因为是国外的源，所以更新和安装的速度非常慢，如果碰到大的模块，可能你要花的时间非常多，在这里，明哥收集和总结了一下PIP源修改的方式，适用于MAC、Windows、Centos。国内源：阿里云https://mirrors.aliyun.com/pypi/simple/ 中国科技大学https://pypi.mirro...

2020-03-25 06:37:40 435

原创十年老程序猿教你如何用搜索引擎

看这个标题我想你会认为这篇文章的内容极为基础。事实上，99%的人都不知道搜索引擎应该如何使用，只会使用关键词搜索的人占比是绝大多数，特别是开发中碰到的问题，可能在搜索上浪费的时间是你coding时间的数倍。就让明哥在这里帮你整理一下吧，也是做为Python基础学习教程的开始。正确地使用搜索引擎是开发人员的必备技能现在的开发看纸质文应该占比非常的少了，毕现在是互联网的时...

2020-03-24 00:37:18 594

原创使用wordcloud生成李子柒词云-趣玩Python系列五

最近在做一个的统计小工具，用到了词云和词频统计功能。其实之前在做采集的项目时，这二个模块已经用得比较多了，在我看来，还是能归到趣玩Python系列当中的，希望对没有使用过的朋友有所帮助，直接进入正文吧！最近李子柒更新了一个蓝印花布的视频，在微博爆火，当然，那是视频，在文章中没办法去抓里面的字幕，其实也可以实现（opencv进行处理），本文中就不再进行细说，如果有可能，下一个趣玩系列更新时我会...

2020-03-23 22:29:45 469

原创 Python实现经典小游戏贪食蛇-趣玩Python系列三

前言：上一篇已采用pygame做了一个Python实现黑客帝国代码雨-趣玩Python系列二的效果，今天升级一下，来实现一个经典小游戏-贪食蛇吧。首先我们需要导入待使用的模块：import pygame, sys, randomfrom pygame.locals import *pygame.locals 模块包含pygame使用的各种常量，它的内容会被自动放入到 Pygame...

2020-03-06 18:57:07 635

原创 Python实现黑客帝国代码雨-趣玩Python系列二

本系列所有文章都只是为了激起对Python有兴趣的朋友增加更大的兴趣，所以尽量找一些好玩，又较为简单的实例进行，这几天整理了一下素材，突然想起多年以前《黑客帝国》里面有个场景还是挺有意思的。于是特意花了精力把这篇代码重新整理起来，如果代码中有问题或者实现方式不对，请指正。（虽然我也不会听）先看看电影中的效果：图片来源百度先考了一下其它语言实现的方式，其实也就是shell...

2020-03-03 02:44:49 7166 5

原创不打码的文本不是好图片-趣玩Python系列1

身为一个程序员，时时刻刻都受到Bug的危害，有时候只靠自己总不是能万全无忧，这时候，有必要请护身符了！先上效果。转换后的效果信我者，无Bug为了实现图片转成字符文本，以下是具体思路：1.读入图片，将其转化为灰度图片2.逐行扫描像素点，转化为对应的字符。实施细节：1.根据灰阶，确定了8个字符，根据像素进行确认对应的字符，对应8个灰阶。2.字符在显示的时候长宽比不是一比一的，所以输...

2020-02-29 22:04:53 224

原创使用Docker进行小型PHP网站LNMP的快速搭建教程

本想在这篇文中说一下阿里云主机的采购和选型，又怕大家误会我是广告贴，所以关于阿里云的选购以后我将单独发到我的博客当中。闲话少说，进入正题。小型企业站快速上云其实是一件很容易的事情，但是每次配置服务器却并不是一件容易的事，每次大家都要找一些需要安装的插件和组件，有的因为版本问题安装过程相当麻烦。Docker就成为了我们快速部署的工具。docker本文中我将以php7+nginx+my...

2019-09-24 21:28:22 926

原创 win7环境下Docker快速构建及阿里云容器加速配置

上篇Docker中提到的是MAC系统中的构建，本篇会简单介绍win7中Docker的构建和加速。Docker 官网下载之前的步骤本文中不再重提，直接去Docker官网中下载win7版本进行安装，安装完成之后系统会多了三个启动包，1."Kitematic (Alpha)"Docker服务管理器及更新检查器Kitematic (Alpha)启动后就是上图的界面，用于管理Do...

2019-09-22 17:22:46 410

原创世界上最好的开发语言还是PHP吗？

PHP做为一种轻量级开发语言，从2004年到现在都饱受争议，但是PHP的定位其实一直都算是比较清晰，主要支撑于中小企业的Web应用方面，到现在为止，互联网上应用最高的应用WordPress也是PHP语言所开发的。PHP的很多开发框架的使用量也居高不下，比如Laravel等等。PHP的开发依然广泛运用于建站，游戏服务端开发等等昨晚和朋友聚餐喝酒，桌上一位老伙伴跟我吐槽，说PHP现在找工作越来越难...

2019-09-21 19:10:36 915

转载程序员中的奇葩，使用php构建魔兽世界

这是用PHP编写的魔兽世界服务器。现在它已经调试了登录服务器的过程。目前的魔兽世界客户端是2.4.3_8606。服务器列表和帐户密码数据需要查询AUTH库。世界服务器身份验证过程已完成，数据包加密已完成后续进程正在开发中...... 数据库文件在根目录: sql/sql.7z 今天在群中看到朋友推荐的一个github仓库，以下内容大部分出自这个仓库，这是一篇GITHUB中...

2019-09-20 11:13:58 813

转载快速构建项目神器-Docker

篇提到了中小企业快速构建云上服务，本篇继续以开发的视角介绍一个容器化工具：Docker，以下部分摘自百度百科！本文算是一篇技术科普文，对实操上没有太大价值，但是可以告诉你Docker能用在什么地方，怎么使用。序：上篇提到了中小企业快速构建云上服务，本篇继续以开发的视角介绍一个容器化工具：Docker，以下部分摘自百度百科！本文算是一篇技术科普文，对实操上没有太大价值，但是可以告诉你Docker...

2019-09-20 03:43:46 504

转载中小企业阿里云服务架构漫谈（四）成熟期

项目成熟期（1000<并发<10000）中小企业阿里云服务架构漫谈（一）中小企业阿里云服务架构漫谈（二）中小企业阿里云服务架构漫谈（三）-发展期当网站流量能到1000以上时，这时主业务应该达到一定的营收了，就应该对系统的服务进行横向扩展，在创建之初所做的架构就起到了作用。缓存、数据库、并发等在使用上都开始进行集群化，业务组的横向扩展的拆分，业务服务拆分上可以向微服务方向进...

2019-09-18 21:42:19 260

转载中小企业阿里云服务架构漫谈（三）-发展期

项目发展期（100<并发<1000）前文链接：中小企业阿里云服务架构漫谈（一）中小企业阿里云服务架构漫谈（二）当业务正常上线后，随着线上业务的成长，初期的架构到达一定的瓶颈，应用产生越来越多的访问量、并发慢慢增加，服务器的CPU、磁盘存储空间压力都会随之增加，这个时候我们就会考虑做一些服务器扩容的工作。对于网站的入口压力最大的问题就是并发量的负载均衡，通常的Q...

2019-09-16 23:04:27 260

转载中小企业阿里云服务架构漫谈（二）-初创期

项目初创期（并发<100）作为初创公司，成本是第一考虑的。从需求和技术实现而言，以最后的服务器和技术成本来满初初期的全部要求是必要的。如图：此时的用户目标并发不会太多，整个开发团队的编制应该在3人以内，这时对于线上应用只需要最基本的支撑即可。建议采购云服务器内容：云服务器 1-2台（ECS ），独立数据库一台（RDS），ssl证书按照以上资源成本来计算，前端5...

2019-09-14 09:05:16 298

转载中小企业阿里云服务架构漫谈（一）

序言：笔者在最近十年中一直从事技术研发和初创公司的网络架构（PHP方向）的工作，慢慢见证着云架构技术的成长和壮大。在传统的物理架构中数据和业务一般都在一起，到云上之后服务拆分可能是虚拟机，也可能是容器，也可能是组件。业务与数据也进行了分离，业务组件、业务服务、业务储存各节点都有不同的技术深度。无论普通的程序员还是资深的架构师，技术深度和广度都有所局限。传统架构传统的IT构建是比较麻烦复...

2019-09-14 09:02:25 413

原创根域名匹配正则

preg_match('/[\w-]*\.([a-zA-z\.]+)(\/|$)/isU', $host, $domains);//preg_match('/[\w-]*\.(?:com\.cn|com\.tw|cc|cn|aero|arpa|asia|biz|cat|com|coop|edu|gov|int|info|jobs|mil|mobi|museum|name|net|org|pro

2014-07-16 18:28:31 1210

tonyoo的专栏