qq_41705041的博客

原创 OA签入助手

为什么有这个助手，故事是这样的：上周小姐姐找到小农，“哎，签入迟到了又扣钱了，怎么老是忘了签出时间呢”，这个吐槽也激发了小农，对啊 ，我也经常忘记签出时间而疑神疑鬼的，如果有个功能能提醒或者查看就好了（自动签入是违规的就不考虑了）；故事虽然有点短，但扣钱是真的，小农被扣了7元o(╥﹏╥)o；越想越不应该，决定解决这个问题，恰好这段时间网络不行，被推荐一个×件，神奇的大门悄然打开，这么方便的×件是如何运作的；作为Js小白，小农那么开始基础知识：1. 因为是网页，所有小农花了几晚过了一遍

原创 远离菠~菜，数据说话

突发现一某菠菜(BOCAI)网站, 百度了下，什么必胜策略，倍投技巧，其实都大同小异，都是根据开奖走势预测，根据多数的文章描述简单绘制一个流程图：那么，首先要获取网站的历史数据，这个时候爬虫就派上用场啦，爬取了近一个星期的开奖数据（一分钟一局），以下是部分数据：第二步，根据预设的策略模拟下注，以下是源码：class Project: def __init__(self): self.money = 200 self.recyle = 1 ...

转载 提高SQL查询效率的30种方法

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id f...

原创 DataFrame

data = pandas.DataFrame()函数简介data.index #返回索引值data.columns #返回表头/列名data.dtypes #返回各列的 类型data.ftypes 我也不知道data.get_dtype_counts() #返回各类型的列数量data.get_ftype_counts()data.axes #返回2...

转载 pandas 简单入门

导入数据pd.read_csv(filename)：从CSV文件导入数据 pd.read_table(filename)：从限定分隔符的文本文件导入数据 pd.read_excel(filename)：从Excel文件导入数据 pd.read_sql(query, connection_object)：从SQL表/库导入数据 pd.read_json(json_string)：从JSO...

转载 pandas 提速要点

当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。pandas的文档中是这样描述的：“快速，灵活，富有表现力的数据结构，旨在使”关系“或”标记“数据的使用既简单又直观。”我们知道pandas的两个主要数据结构：dataframe和series，我们对数据的一些操作都是基于这两个数据结构...

转载 Day66-75 - 解析动态内容

根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们之前用的抓取数据的方式无法正常运转了。解决这样的问题基本上有两种方案，一是JavaScript逆向工程；另一种是渲染JavaScript获得渲染后的内容。JavaScript逆向工程...

转载 Day66-75 - 并发下载

多线程和多进程回顾在前面的《进程和线程》一文中，我们已经对在Python中使用多进程和多线程实现并发编程进行了简明的讲解，在此我们补充几个知识点。threading.local类使用线程时最不愿意遇到的情况就是多个线程竞争资源，在这种情况下为了保证资源状态的正确性，我们可能需要对资源进行加锁保护的处理，这一方面会导致程序失去并发性，另外如果多个线程竞争多个资源时，还有可能因为加锁方式的...

转载 Day66-75 - 存储数据

存储海量数据数据持久化的首选方案应该是关系型数据库，关系型数据库的产品很多，包括：Oracle、MySQL、SQLServer、PostgreSQL等。如果要存储海量的低价值数据，文档数据库也是不错的选择，MongoDB是文档数据库中的佼佼者，之前我们已经讲解过MongDB的相关知识，在此不再进行赘述。数据缓存通过《网络数据采集和解析》一文，我们已经知道了如何从指定的页面中抓取数据，以...

转载 Day66-75 - 数据采集和解析

通过《网络爬虫和相关工具》一文，我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，至此我们可以对爬虫开发需要做的工作以及相关的技术做一个简单的汇总，这其中可能会有一些我们之前没有使用过的第三方库，不过别担心，这些内容我们稍后都会一一讲到。下载数据 - urllib / requests / aiohttp。 解析数据 - re / lxml / beautifulsoup4（bs4...

转载 Day66-75 - 网络爬虫和相关工具

网络爬虫网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所...

转载 Day36-40 - 关系数据库入门

关系数据库概述 数据持久化 - 将数据保存到（在掉电情况下）能够长久保存数据的存储介质中。 数据库发展史 - 网状数据库、层次数据库、关系数据库、NoSQL数据库。 1970年，IBM的研究员E.F.Codd在Communication of the ACM上发表了名为A Relational Model of Data for Large Shared Data Bank...

转载 Day31-35 - 玩转Linux操作系统

操作系统发展史只有硬件没有软件的计算机系统被称之为“裸机”，我们很难用“裸机”来完成计算机日常的工作（如存储和运算），所以必须用特定的软件来控制硬件的工作。最靠近计算机硬件的软件是系统软件，其中最为重要的就是“操作系统”。“操作系统”是控制和管理整个计算机系统的硬件和软件资源，合理的分配资源和调配任务，为系统用户和其他软件提供接口和环境的程序的集合。没有操作系统（手工操作）在计算机诞生...

转载 Day21-30 - Web前端概述

说明：本文使用的部分插图来自Jon Duckett先生的*HTML and CSS: Design and Build Websites*一书，这是一本非常棒的前端入门书，有兴趣的读者可以在亚马逊或者其他网站上找到该书的购买链接。HTML简史1991年10月：一个非正式CERN（欧洲核子研究中心）文件首次公开18个HTML标签，这个文件的作者是物理学家蒂姆·伯纳斯-李，因此他是万维网的...

转载 Day16-20 - Python语言进阶

数据结构和算法 算法：解决问题的方法和步骤 评价算法的好坏：渐近时间复杂度和渐近空间复杂度。 渐近时间复杂度的大O标记： - 常量时间复杂度 - 布隆过滤器 / 哈希存储 - 对数时间复杂度 - 折半查找（二分查找） - 线性时间复杂度 - 顺序查找 / 桶排序 - 对数线性时间复杂度 - 高级排序算法（归并排序、快速排...

转载 Day15 - 图像和办公文档处理

用程序来处理图像和办公文档经常出现在实际开发中，Python的标准库中虽然没有直接支持这些操作的模块，但我们可以通过Python生态圈中的第三方模块来完成这些操作。操作图像计算机图像相关知识 颜色。如果你有使用颜料画画的经历，那么一定知道混合红、黄、蓝三种颜料可以得到其他的颜色，事实上这三种颜色就是被我们称为美术三原色的东西，它们是不能再分解的基本颜色。在计算机中，我们可以将红、绿、...

转载 Day14B - 网络应用开发

发送电子邮件在即时通信软件如此发达的今天，电子邮件仍然是互联网上使用最为广泛的应用之一，公司向应聘者发出录用通知、网站向用户发送一个激活账号的链接、银行向客户推广它们的理财产品等几乎都是通过电子邮件来完成的，而这些任务应该都是由程序自动完成的。就像我们可以用HTTP（超文本传输协议）来访问一个网站一样，发送邮件要使用SMTP（简单邮件传输协议），SMTP也是一个建立在TCP（传输控制协议）...

转载 Day11 - 文件和异常

在实际开发中，常常需要对程序中的数据进行持久化操作，而实现数据持久化最直接简单的方式就是将数据保存到文件中。说到“文件”这个词，可能需要先科普一下关于文件系统的知识，对于这个概念，维基百科上给出了很好的诠释，这里不再浪费笔墨。在Python中实现文件的读写操作其实非常简单，通过Python内置的open函数，我们可以指定文件名、操作模式、编码信息等来获得操作文件的对象，接下来就可以对文件进行读...

转载 Day12 - 使用正则表达式

正则表达式相关知识在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要，正则表达式就是用于描述这些规则的工具，换句话说正则表达式是一种工具，它定义了字符串的匹配模式（如何检查一个字符串是否有跟某种模式匹配的部分或者从一个字符串中将与模式匹配的部分提取出来或者替换掉）。如果你在Windows操作系统中使用过文件查找并且在指定文件名时使用过通配符（*和?），那么正则表达式也是...

转载 Day09 - 面向对象进阶

在前面的章节我们已经了解了面向对象的入门知识，知道了如何定义类，如何创建对象以及如何给对象发消息。为了能够更好的使用面向对象编程思想进行程序开发，我们还需要对Python中的面向对象编程进行更为深入的了解。@property装饰器之前我们讨论过Python中属性和方法访问权限的问题，虽然我们不建议将属性设置为私有的，但是如果直接将属性暴露给外界也是有问题的，比如我们没有办法检查赋给属性的值...

转载 Day08 - 面向对象编程基础

活在当下的程序员应该都听过“面向对象编程”一词，也经常有人问能不能用一句话解释下什么是“面向对象编程”，我们先来看看比较正式的说法。把一组数据结构和处理它们的方法组成对象（object），把相同行为的对象归纳为类（class），通过类的封装（encapsulation）隐藏内部细节，通过继承（inheritance）实现类的特化（specialization）和泛化（generalizati...

转载 Day07 - 字符串和常用数据结构

使用字符串第二次世界大战促使了现代电子计算机的诞生，当初的想法很简单，就是用计算机来计算导弹的弹道，因此在计算机刚刚诞生的那个年代，计算机处理的信息主要是数值，而世界上的第一台电子计算机ENIAC每秒钟能够完成约5000次浮点运算。随着时间的推移，虽然对数值运算仍然是计算机日常工作中最为重要的事情之一，但是今天的计算机处理得更多的数据都是以文本信息的方式存在的，而Python表示文本信息的方式...

转载 Day06 - 函数和模块的使用

在讲解本章节的内容之前，我们先来研究一道数学题，请说出下面的方程有多少组正整数解。$$x_1 + x_2 + x_3 + x_4 = 8$$事实上，上面的问题等同于将8个苹果分成四组每组至少一个苹果有多少种方案。想到这一点问题的答案就呼之欲出了。$$C_M^N =\frac{M!}{N!(M-N)!}, \text{(M=7, N=3)} $$可以用Python的程序来计算出这个值...

转载 Day04 - 循环结构

循环结构的应用场景如果在程序中我们需要重复的执行某条或某些指令，例如用程序控制机器人踢足球，如果机器人持球而且还没有进入射门范围，那么我们就要一直发出让机器人向球门方向奔跑的指令。当然你可能已经注意到了，刚才的描述中其实不仅仅有需要重复的动作，还有我们上一个章节讲到的分支结构。再举一个简单的例子，比如在我们的程序中要实现每隔1秒中在屏幕上打印一个"hello, world"这样的字符串并持续一...

转载 Day03 - 分支结构

分支结构的应用场景迄今为止，我们写的Python代码都是一条一条语句顺序执行，这种结构的代码我们称之为顺序结构。然而仅有顺序结构并不能解决所有的问题，比如我们设计一个游戏，游戏第一关的通关条件是玩家获得1000分，那么在完成本局游戏后我们要根据玩家得到分数来决定究竟是进入第二关还是告诉玩家“Game Over”，这里就会产生两个分支，而且这两个分支只有一个会被执行，这就是程序中分支结构。类似的...

转载 Day02 - 语言元素

指令和程序计算机的硬件系统通常由五大部件构成，包括：运算器、控制器、存储器、输入设备和输出设备。其中，运算器和控制器放在一起就是我们通常所说的中央处理器，它的功能是执行各种运算和控制指令以及处理计算机软件中的数据。我们通常所说的程序实际上就是指令的集合，我们程序就是将一系列的指令按照某种方式组织到一起，然后通过这些指令去控制计算机做我们想让它做的事情。今天我们使用的计算机虽然器件做工越来越精密...

转载 Day 1：初认识Python

Python简介Python的历史1989年圣诞节：Guido von Rossum开始写Python语言的编译器。 1991年2月：第一个Python编译器（同时也是解释器）诞生，它是用C语言实现的（后面又出现了Java和C#实现的版本Jython和IronPython，以及PyPy、Brython、Pyston等其他实现），可以调用C语言的库函数。在最早的版本中，Python已经提供...

转载 Day10 - 图形用户界面和游戏开发

基于tkinter模块的GUIGUI是图形用户界面的缩写，图形化的用户界面对使用过计算机的人来说应该都不陌生，在此也无需进行赘述。Python默认的GUI开发模块是tkinter（在Python 3以前的版本中名为Tkinter），从这个名字就可以看出它是基于Tk的，Tk是一个工具包，最初是为Tcl设计的，后来被移植到很多其他的脚本语言中，它提供了跨平台的GUI控件。当然Tk并不是最新和最好的...

原创 C#笔记（代码篇）

namespace 基础练习{ class Program { static void Main(string[] args) { //一、 变量 常量 运算符 // 变量 char r = 'w'; //字符使用单引号 string s = "我 爱 你"; // 字...

原创 学习笔记

import tensorflow as tf1.参数的设定state = tf.Variable(0,name ='name') !!! 如果有定义参数必须附带init = tf.initialize_all_variables()2.N维矩阵one = tf.constant(1)注意：使用的时候必须保持数据格式一致，否则报错，转换数据可通过astype()&g...

原创 多进程multiprocessing

/

原创 正则表达式

import repartern = 'asd'string = 'asd7788're.search(partern,string) 

转载 set 用法

... >>> a = set('abracadabra')>>> b = set('alacazam')>>> a {'a', 'r', 'b', 'c', 'd'}>>> a - b # 集合a中包含而集合b中不包含的元素 {'r', 'd', 'b'}>>> a | b # 集合

原创 Pickle 存放数据

import pickled_dic ={'a':'asd'}file = open('pickle_example.pickle','wb')#存放数据pickle.dump(d_dic,file) file = open('pickle_example.pickle','wb')#读取数据pickle.load(file)with open('pickle_examp...

原创 全局变量和局部变量

a = Nonedef fun(): global a a = 20 return 100+a#可将局部a 赋值给全局变量a 

原创 函数

Python 定义函数使用 def例子： def sum(a,b): return a+bs = sum(1,2)s() 

原创 pycharm中qtdesigner和pyuic 配置（python语言）

原创 pycharm 出错汇总

1.pip出现NON-ZERO CODE(1)问题：       可通过加延时和镜像处理pip --default-timeout=1000 install pyqt5-tools -i https://pypi.douban.com/simple 

转载 打包时遇到pandas库报错处理（转）

pandas模块半天打包不了，折腾半天终于搞定了: 1.在python34的安装路径下找到PyInstaller\hooks的位置，例如：C:\Python34\Lib\site-packages\PyInstaller\hooks2.在此目录下新建文件hook-pandas.py，并填写以下内容：hiddenimports=[ #all your previous hidden impo...