- 博客(47)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 Python-OpenCV图像识别学习
代码已托管GitHub，仓库地址：OpenCV3-note，以下为仓库的README.md，介绍仓库信息及代码结构：OpenCVOpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机...
2019-05-20 20:38:36
4373
2
原创 基于centos7的hadoop2.7、zookeeper3.5、hbase1.3、spark2.3、scala2.11、kafka2.11、hive3.1、flume1.8、sqoop1.4组件部署
部署前准备修改主机名1、修改主机名（6台机器都要操作,以Master为举例） hostnamectl set-hostname Master（永久修改主机名） reboot（重启系统）修改hosts将第一行127.0.0.1 xxxx注释掉，加上：195.168.2.127 master195.168.2.128 slave1195.168.2.129 slave2确认网卡信息vi /etc/sysconfig/network-scripts/ifcf...
2021-10-18 00:12:47
1110
原创 记录基于腾讯云服务器的Typecho博客迁移
前段时间腾讯云的三年服务器提示还有7天到期，于是便到腾讯云上选购服务器了。有直接续费的，我的最低配1200+三年，直接续费是最简单的，但是后来在活动页面购买了3年的服务器500+RMB。我这次迁移的是基于PHP Typecho框架的Pinghsu主题博客系统。旧服务器数据迁出 登录旧服务器，针对Typecho框架博客我们需要备份的数据有：MySQL对应的数据库数据：使用命令mysqldump -uroot -p --all-databases > db.sql...
2021-10-17 23:26:00
719
原创 Python paramiko模块学习记录、封装类的使用及交换机配置批量备份程序的实现
利用Python3 paramiko实现了基于交换机配置自动批量备份的实现，代码已托管GitHub，仓库地址：switchboardbackup，有疑问可在Github提问。前言paramiko是基于Python实现SSH连接的第三方库，底层采用了cryptography安装该第三方库，直接使用命令 pip install paramiko官方文档：http://docs.parami...
2020-04-08 17:11:12
1437
原创 使用c#的System.Net.Mail包、NPOI包实现了基于excel表格的邮箱自定义批量发送
C# System.Net.Mail命名空间官网API地址为：https://docs.microsoft.com/zh-cn/dotnet/api/system.net.mail?redirectedfrom=MSDN&view=netframework-4.8通过该命名空间，可实现基于POP协议的邮箱自动发送功能，具体的C# DLL后面提供。 //mailConte...
2020-01-24 15:51:35
1498
原创 流畅的Python笔记（一）—python的数据模型及python风格的纸牌
流畅的Python总览第一部分 序幕通过特殊方法，实现一个 13*4 52张的纸牌。第二部分 数据结构列表、字典和集合、文本和字节序列，用于放置数据的序列，包括了容器序列（list、tuple、collections.depue，可放置任何类型对象的引用）、扁平序列（基础类型：字符、字节、数值）第三部分 把函数视作对象将函数作为一等对象使用。python基础函数（高阶函数、匿名函数、函...
2019-12-24 23:17:22
232
原创 关于7-10月的总结及2019年技能大赛回顾
前言从2019年7月份得知2019年计算机操作员（网站设计）的技术文件之后，7-9月基本都在准备这个技能大赛，针对快速建站，主要学习了ASP.NET MVC 4的框架、Bootstrap前端框架、CSS布局和基本JQ操作，后面两周的冲刺练习了4个小时内，离线快速搭建XX新闻网、XX官网、XX论坛、XX校园网等常见的网站。9月下旬至10月上旬，都在做公司数据文化节的作品，主要使用了C# WinF...
2019-10-20 23:25:22
343
原创 爬虫实战（二）—利用requests、selenium爬取王者官网、王者营地APP数据及pymongo详解
概述可关注微信订阅号 loak 查看实际效果。代码已托管github，地址为：https://github.com/luozhengszj/LOLGokSpider，包括了项目的所有代码。本文主要介绍以下内容：使用selenium 和 requests爬取王者荣耀官网、王者营地APP数据，使用BeautifulSoup和正则进行数据解析；爬取的IP代理使用了redis搭建的代理...
2019-06-30 22:10:04
8404
7
原创 爬虫实战（一）—利用requests、mongo、redis代理池爬取英雄联盟opgg实时英雄数据
概述此篇文章，主要记录利用Python request模块爬取LOL opgg英雄实时数据，并保存到mongodb中，爬取使用了可靠的redis维护IP代理池，这个过程已在腾讯云服务器上完成每日定时爬取，并完成个人订阅号 loak 的查询接口。以下简单写一下用到的技术，并在后面做详细的记录：爬虫相关：爬虫模块 requests、 mongodb模块 pymongo、 html解析 Be...
2019-06-17 23:00:06
7453
2
原创 Python爬虫（七）—类似jquery的 解析库 pyquery
前言以下关于pyquery 的学习，主要记录常用的知识点，深入了解的查看官方文档。pyquery : https://pyquery.readthedocs.io/en/latest/JQuery : http://jquery.cuishifeng.cn/本文参照博客：https://www.cnblogs.com/zhaof/p/6935473.htmlpyqueryp...
2019-06-02 22:59:06
2196
原创 Python爬虫（六）—解析利器 BeautifulSoup
前言以下关于正则表达式 BeautifulSoup 学习，主要记录常用的知识点，深入了解的查看官方文档。BeautifulSoup : https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/BeautifulSoup 介绍Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。安装...
2019-06-02 13:44:33
404
原创 Python爬虫（五）—正则表达式 re 的深入学习
前言以下关于正则表达式 re 学习记录，强烈推荐深入了解的查看官方文档。re：https://docs.python.org/zh-cn/3/library/re.html本文借鉴官方文档及博文：https://www.cnblogs.com/zhaof/p/6925674.html正则表达式正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找出满足你想要的格式的句...
2019-05-30 22:20:08
220
原创 Python爬虫（四）—深入学习Selenium
前言以下关于Selenium的内容讲解，强烈推荐深入了解的查看官方文档。英文版：Selenium、 https://selenium-python.readthedocs.io/Selenium介绍安装介绍selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理...
2019-05-29 23:36:21
507
原创 Python爬虫（三）— 深入了解Requests模块
前言以下关于Requests的内容讲解，强烈推荐深入了解的查看官方文档。中文版：Requests、 http://cn.python-requests.org/zh_CN/latest/RequestsRequests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。默认安装好python之后，是没有安装requests模块...
2019-05-28 22:26:23
467
原创 Python爬虫（二）— Python3内置模块 Urllib
前言以下关于Urllib的内容讲解，强烈推荐深入了解的查看官方文档。英文版：Urllib https://docs.python.org/3/library/urllib.htmlUrllibUrllib是python内置的HTTP请求库,包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块url...
2019-05-27 23:26:34
487
原创 Python爬虫（一）—爬虫的预备知识（爬虫概念、HTTP与HTTPS、请求与响应）
这篇博文，主要是结合CriseLYJ/Python-crawler-tutorial-starts-from-zero内关于Python爬虫的预备知识进行记录的。爬虫的定义、分类和流程爬虫定义网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。爬虫就是模拟浏览器的行为，越像越好，越像就越不容易被发现。原则...
2019-05-26 11:39:06
510
原创 Python基础（十五）—模块和命名空间、virtualenv与pip
解释器需要Python解释器去执行.py文件。当我们从Python官方网站下载并安装好Python 3.x后，我们就直接获得了一个官方版本的解释器：CPython。这个解释器是用C语言开发的，所以叫CPython。在命令行下运行python就是启动CPython解释器。CPython是使用最广的Python解释器。。其次还有IPython、PyPy、Jython（把Python代码编译成Ja...
2019-05-21 22:18:31
251
原创 VSCode中 Python3环境的设置
以下为：vscode 版本 1.31.1的关于python3运行环境的设置。vscode下载及python虚拟环境的新建vscode下载地址https://code.visualstudio.com/Download，在这里我选择的是windows64位系统绿色版，下载完成后解压即可。python3虚拟环境的设置打开cmd，运行virtualenv D:\develop\python\...
2019-05-20 20:40:14
8793
原创 爬取分析—去哪儿景点热度
本文主要采用selenium（PhantomJS）模拟浏览器分析爬取去哪儿的国内所有省份10000多个景点信息，并保存在MongoDB中提取分析景点热度、省份旅游热度、景点描述词云等。代码已托管GitHub，luozhengszj/spider确定爬取目标去哪儿景点，目标站点为:http://piao.qunar.com/ticket/list.htm?keyword=广西&re...
2019-05-20 20:40:09
2418
原创 微信公众号上的一次爬虫
前段时间，需要在微信上的一个公众号进行登陆、并进行公众号内的操作。这篇文章主要记录通过两种方式进行模拟登陆并操作该公众号，分别为selenium以及requests两种方式。前期准备工作1. 利用fiddler进行手机代理的设置由于手机查看请求不方便，因此利用fiddler进行手机代理的设置，从而在电脑端的fiddler获取到手机所有对外发起的请求，具体设置步骤如下：1>设置fid...
2019-05-20 20:40:02
4714
原创 基于物联网卡实现的GPS定位
本次主要记录利用某宝所售的定位器，查看其原理并实现二次开发。某宝产品缺点优点某宝所售的定位器有续航时间久、定位准确、上传位置模式选择等功能。但是经过实验，续航是其描述的三分之一，最主要的是定位误差比较大（比如明明没动，结果使用APP查看却是在一直移动）。这个是比较严重更多问题，但是对于一些移动的轨迹，还是相对比较准确，但是还有一个缺点就是不能实时定位，基本都是定时上传位置。因此购买定位器还是...
2019-05-20 20:39:45
6940
原创 利用Nginx二级域名解决HTTPS引入HTTP致命错误
这几天搭建了视频解析网站，在搭建的时候发现了解析VIP视频的接口基本都是HTTP协议的，而自己的网站采用的是HTTPS协议（包括HTTP也强制转换为HTTPS）。为了解决这个问题，也考虑了不强转HTTPS，使用HTTP可访问域名+物理地址，但是基于这种方案的安全性考虑，最终选择了二级域名搭建视频解析网站，而域名本身还是强制转为HTTPS。出现错误错误主要是在HTTPS网站中引入HTTP的资...
2019-05-20 20:39:22
1640
原创 Python基础（十四）—装饰器 wrapper
装饰器 wrapper先上一篇博文：详解Python装饰器装饰器的作用装饰器的作用就是为已经存在的函数或对象添加额外的功能。装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就...
2019-05-20 20:05:47
19325
1
原创 Python基础（十二）—面向对象拾遗（__slots__、@property、枚举类、元类）
编译型语言和解释型语言编译型语言定义需通过编译器（compiler）将源代码编译成机器码，之后才能执行的语言。一般需经过编译（compile）、链接（linker）这两个步骤。编译是把源代码编译成机器码链接是把各个模块的机器码和依赖库串连起来生成可执行文件优缺点优点：编译器一般会有预编译的过程对代码进行优化。因为编译只做一次，运行时不需要编译，所以编译型语言的程序执行效率...
2019-05-20 11:09:22
309
原创 Python基础（十三）—切片、yield、生成器、序列化JSON
切片 Slice切片操作基本表达式：object[start_index:end_index:step]表达式解释step为步长参数，类似range()里的步长参数。得到的序列从starting_index（包含starting_index）开始，每次以步长前进，即starting_index + step，直到ending_index（不包含ending_index）结束。ste...
2019-05-20 11:05:32
630
原创 Python基础（十一）—魔法方法（构造析构、属性魔法、算数魔法、类型魔法等）
魔法方法介绍魔法方法都是被双下划线包围，例如__init__魔法方法是面向对象的一切，充分体现了面向对象Python的强大。魔法方法的魔力，体现在他们总能在合适的时候自动调用。构造和析构__init()__和__new__是python的构造器，实例化对象时调用。__del__方法是析构器，在对象将要被销毁的时候就会被调用。__init()__方法init(self[, …])...
2019-05-20 10:36:06
246
原创 Python基础（十）—面向对象的深入讲解（继承、Mixin编程机制等）
面向对象的三大特征面向对象（Object Oriented）,对象=属性+方法封装对象封装了属性、方法的函数，成为一个独立性的模块（信息隐蔽），使得对象更安全。继承面向对象的一个重要特性是复用性，继承是实现复用性的一个重要手段，继承就是子对象可以继承父对象的属性和行为，亦即父对象拥有的属性和行为，其子对象也就拥有了这些属性和行为。多态多态性是指不同对象对同一方法响应不同的...
2019-05-19 10:19:01
397
原创 Python基础（九）—异常except、else&with、异常的名称层次
try、except、else、finally结构try: Normal execution blockexcept A as reason: Exception A handle print('出错了：'+str(reason))except B: Exception B handleexcept: Other exception ...
2019-05-19 10:16:03
557
原创 Python基础（八）—编码详解（ASCII、GBK、Unicode、UTF-8等）、decode&encode
编码的发展看了很多篇博客，感觉还是先从历史讲起比较好…ASCII8位的字节一共可以组合出256(2的8次方)，把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这种标准被称为：ANSI 的"Ascii"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。这种标准使用了1个字...
2019-05-19 10:14:35
934
原创 Python基础（七）—输入输出（open、os、pickle）
open使用open打开一个文件对象：open(file, mode=‘r’, buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)除了第一个是必须输入参数，其余参数均有默认值。打开方式modemode表示open的打开方式，默认为’r’，读取模式。需要注意的是，file...
2019-05-19 10:12:26
747
原创 Python基础（六）—函数式编程（内部函数、闭包、lambda、filter/map/reduce/sorce、偏函数）
内部函数Python中函数的作用域由def关键字界定，函数内的代码访问变量的方式是从其所在层级由内向外，若往外直至全局作用域都查找不到的话代码会抛异常。主要看以下代码的差别~~ """ def f1(): x = 5 def f2(): x *= x return x return f2 """ de...
2019-05-19 10:10:02
346
原创 Python基础（五）—函数（参数解析、global、递归）
形参和实参形参即函数内使用的参数，实参即调用函数时的赋值，如下： def tmp(name): # 形参 print(name) tmp('实参')形参类型位置参数函数内使用到的形参为关键参数，即调用该函数时必须传入的参数。默认参数如：tmp(name=‘lz’,age)，此时形参name即为默认参数，默认值为lz。可变参数如：tmp(*para...
2019-05-19 10:04:41
425
原创 Python基础（四）—日期类型
日期类型Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。time模块主要用于处理时间，而Calendar模块有很广泛的方法用来处理年历和月历。时间间隔是以秒为单位的浮点小数，每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示，如函数time.time()用于获取当前时间戳, 如下实例: import time print(tim...
2019-05-19 10:00:46
447
原创 Python基础（三）—字典和集合
字典Dictionary字典是一种可变容器模型，且可存储任意类型对象。每个键值(key=>value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号({})中 ,格式如下所示： d = {key1 : value1, key2 : value2 }键必须是唯一的，但值则不必。创建：d = {key1 : value1, key2 : value2 }...
2019-05-19 09:57:58
447
原创 Python基础（二）—列表和元组
List&TupleList是一个可变序列类型。因此，您可以通过添加或删除元素来更改给定的列表。元组是不变序列类型。你不能换一个元组。所以你必须创建一个新的。List创建：listTmp = [] , listTmp = [‘listtmp’, 2017, 2018, 2019]访问：通过下标进行访问（和字符串同样可以使用切片），listTmp[0] , listTmp[...
2019-05-19 09:54:28
335
原创 Python基础（一）—数值类型和字符类型
用了Python很久了，可是一直没有系统的学习、记录、笔记，这次打算从头开始学习Python基础，打下坚实的基础后再通过《流畅的Python进阶》进阶。数字类型Python的基本数据类型包括了：数字（Digit）、字符（String）、列表（List）、元组（Tuple）、集合（Sets）、字典（Dictionary）、日期（date）。数字类型整型：Python3中，已不区分长整型...
2019-05-19 09:48:20
1059
原创 最短路径算法—Dijkstra算法和BellmanFord算法
松弛操作Dijkstra算法和BellmanFord算法都是基于这个简单的操作。 下面我们来了解这个简单而重要的操作：线松弛 线松弛也就是处理 起点到边的两个顶点距离与两个顶点直接距离的问题。 如：假如distTo[4]>distTo[3]+e.weight()，则会修改到达4顶点的最短路径，否则不变。 2.点松弛 点松弛其实就是对顶点的每一条发出的边都进行一次线松弛操作。 如图：边3
2016-09-24 23:17:51
1435
原创 最小生成树—Prim算法和Kruskal算法
本文主要讨论基于求最小生成树的两种算法—Prim算法和Kruskal算法 主要说说其思想，附代码解释，有问题请留言延时的Prim算法思想：每一步为最小生成树的成长增加一条最短的边。 分析： 1>将所有的顶点分为两部分，一部分是逐渐生长的最小生成树（可以用队列来存储），一部分是逐渐减少的非最小生成树（用marked来标记）； 2>还有一个队列维护的边，自然就是存放连接这两部分的边（横切边），
2016-09-22 22:39:45
652
原创 有向图—拓扑排序，Kosaraju算法
有向图基本算法对于有向图的结构，和无向图类似，甚至更简单，有疑问请留言。 1>有向图的数据结构package graphTheory;/** * @author : 罗正 * @date time：2016年9月19日 下午9:26:21 **/public class Digraph { private final int V; private int E;
2016-09-21 17:29:44
644
原创 图算法（二）—深入理解广度优先搜索
@author : 罗正 @date time：2016年9月18日 上午9:20:34 无向图API，深度优先搜索参照上一篇文章 深度优先搜索 本文主要解析广度优先搜索广度优先搜索基于邻接表实现的无向图 1. 思想：使用队列的数据结构（FIFO），首先加入顶点，然后在队列中删除顶点，并且将该顶点相连的所有顶点依次加入队列中，再循环处理这些顶点（和处理最开始的顶点相似），直至所有顶点均被
2016-09-18 13:01:58
3340
空空如也
安卓通过文件管理器跳转到指定目录失败
2017-11-18
android poi xssf出错
2017-11-05
SQLite创建数据库while compiling: testsystem.db
2017-10-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人