someInNeed的博客

豆瓣，get请求查看ajax，下拉滚轮刷新新板块的数据。可查看的，调用的参数。

f12浏览器中1：静态爬取2.动态资源获取。

1首先ctrl alt delete打开任务管理器查看GPU型号

pycharm安装chinesecalender ，file-setting-python interpreter加号找chinesecalender 然后安装。做基础日历表的那一部分可以看我的另一篇博文 Hive日历表。

【代码】Python处理数据字典Excel成DDL。

3.concat实现的只是将两个或多个df按行或者案列简单进行拼接的功能，并没有实现sql中的join功能，默认纵向合并。2.pandas中的join方法，相比merge，只是个弟弟，使用场景有限，相当于concat中的方向为1的合并。1.要想实现sql中的join，需要使用merge方法，能指定列key。查看merge多key关联后的结果。最后写出到excel中数据的样子。......

Pycharm中的包安装如下-然后收索install。

1、__init__ 方法是什么？ 如果使用Python写过面向对象的代码，可能对 __init__ 方法已经非常熟悉了，__init__ 方法通常用在初始化一个类实例的时候。例如：# -*- coding: utf-8 -*-class Person(object): """Silly Person""" def __init__(self, name, age): self.name = name self.age = age...

登录流程图注册钉钉1.1钉钉作为阿里旗下的一款免费移动通讯软件，受众群体越来越多，这里我们使用DJANGO来集成一下钉钉的三方账号登录，首先注册钉钉开发平台：HTTPS://OPEN-DEV.DINGTALK.COM/1.2 创建应用代码# 构建一个钉钉类class DingDing: # 拼接url # 构造钉钉登录url def ding_url(request): appid = 'dingoagmvzpdwxx5npw4..

•pandas.DataFrame( data, index, columns, dtype)•data: 数据•index:行标识•columns:列名•dtype:数据类型

实战1.需求招商银行信用卡积分兑换商城：https://www.51credit.com/jifen/zhaoshang/p1/爬取招商银行信用卡积分兑换商城中的商品名称和商品分类。2.浏览器检查网页输入网址进入网页后，点按F12或者鼠标右键-检查，即可看到一大堆代码，也就是网页的HTML。在HTML中可以找到商品的信息：也可以鼠标右键-查看页面源代码查看网页的HTML。可以直接在页面源代码HTML中找到数据的网页是静态网页，找不到的就是动态网页。静态网页，随着html代码的生成

1.爬虫的过程分析当人类去访问一个网页时，是如何进行的？　　①打开浏览器，输入要访问的网址，发起请求。　　②等待服务器返回数据，通过浏览器加载网页。　　③从网页中找到自己需要的数据（文本、图片、文件等等）。　　④保存自己需要的数据。对于爬虫，也是类似的。它模仿人类请求网页的过程，但是又稍有不同。　　首先，对应于上面的①和②步骤，我们要利用python实现请求一个网页的功能。　　其次，对应于上面的③步骤，我们要利用python实现解析请求到的网页的功能。　　最后，对于上面的④步骤，我们要利

Matplotlib1.1-Matplotlib&Seaborn 数据可视化库 Matplotlib 是一个 Python 的 2D 绘图库，通过 Matplotlib，开发者可以仅需要几行代码， 便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。 http://matplotlib.org whl 文件下载地址（pypi）：https://pypi.python.org/pypi/matplotlib/ 特点： 1.用于创建出版质量图表的绘图工具库 2.目的是为 Python 构建一个

1.1Pandas 介绍 Pandas 什么是 Pandas? ##Pandas 的名称来自于面板数据（panel data）和 Python 数据分析（data analysis）。 Pandas 是一个强大的分析结构化数据的工具集，基于 NumPy 构建，提供了 高级数据结构 和 数据操作工具，它是使 Python 成为强大而高效的数据分析环境的重要因素之一。 1.一个强大的分析和操作大型结构化数据集所需的工具集 2.基础是 NumPy，提供了高性能矩阵的运算 3.提供了大量能够快速便捷地处理数据的函数

Numpy（Numerical Python） Numpy：提供了一个在 Python 中做科学计算的基础库，重在数值计算，主要用于多维 数组（矩阵）处理的库。用来存储和处理大型矩阵，比 Python 自身的嵌套列表结构要高效 的多。本身是由 C 语言开发，是个很基础的扩展，Python 其余的科学计算扩展大部分都是 以此为基础。1.高性能科学计算和数据分析的基础包2.ndarray，多维数组（矩阵），具有矢量运算能力，快速、节省空间3.矩阵运算，无需循环，可完成类似 Matlab 中的矢量

5.1 控制流 1_if_for 语句 1. if 语句 if condition: do something elif other_condition: do something 2. for 语句 Code: #猜数字游戏，每次猜一个，告诉用户猜的数值低还是高 # #if statement example # # number = 59 # guess = int(input('Enter an integer : ')) # # if guess == number: # # New block s

python取文本中含有指定关键词的行脚本内容：f = open('/home/py/9.txt','r')lines = f.readlines()for lines in lines:if "EIPId" in lines:print(lines)【备注】：9.txt是某文本"EIPId"是指定关键词

有时堡垒机有权限设置 不能将excel导入表中。现在将excel中数据转为sql去执行import xlrd #excel的read库import xlwt #excel的write库#打开的excel路径openExcelName='E:/导数/sample.xlsx'#打开的excel中的哪一个sheetsheetName="Sheet"#想插入的表targetTableName="temp.transfer"#想插入的字段colName1="col1"colNam

前置知识在使用这个模块之前我们需要对Excel表格结构有个比较细致的了解，见下图：简而言之，一个Excel工作簿workbook由一个或者多个工作表sheet组成，一个sheet可以看作是多个行row组成，也可以看作是多个列column组成，而每一行每一列都由多个单元格cell组成！读取Excel1.载入Excel fromopenpyxlimportload_workbook workbook=load_workbook(filename='测试.xlsx’...

函数 函数：程序中可重复使用的程序段 给一段程程序起一个名字，用这个名字来执行一段程序，反复使用 （调用函数） 用关键字 ‘def' 来定义，identifier(参数)  identifier  参数 list  return statement  局部变量 vs 全局变量 Code: #-*- coding: utf-8 -*- #没有参数和返回的函数 # def say_hi(): # print(" hi!") # # say_hi() # say_hi() # # #有参数，无返回值 #

#-*-coding:utf8-*- #集合中只能包含数字、字符串、元祖等不可变类型的数据，而不能包含列表、字典、集合 等可变类型数据 #有一个方法：利用内置的 hash()函数计算对象的哈希值，凡是无法计算哈希值的对象都不 能作为集合的元素，也不能作为字典对象的“键” #字典的定义 a={3,5} #字典定义方法 1 type(a) a_set=set(range(8,14))#将 range 对象转化为集合 b_set=set([0,1,2,3,0,1,2,3,7,8])#转化时自动去掉重复元素 c_s

目录前言安装模块例1：创建一个excel 文件，并写入不同类的内容例2：写入时间例3：创建sheet例4 ：操作单元格例5 ：操作行/列/指定区域例6：显示小数例7：获取所有的行对象例8：获取所有的列对象例9：单元格类型例10：公式例11：合并单元格/取消合并单元格例12：插入图片前言python中操作excel的模块有很多，比如xlrd,xlwt,openpyxl,xlutils等。前两个是一套，一个读一个写。注意：xlwt模块，只能支持到ex

键(key)，对应值(value) 结构介绍 # -*- coding: utf-8 -*- #创建一个词典 phone_book = {'Tom': 123, "Jerry": 456, 'Kim': 789} mixed_dict = {"Tom": 'boy', 11: 23.5} #访问词典里的值 print("Tom's number is " + str(phone_book['Tom'])) print('Tom is a ' + mixed_dict['Tom']) #修改词典 phone_

import osos.getcwd()获取当前目录

可以使用轮子文件whl安装 pip install这三个也可以安装acaconda，会包含这三个 。另外 网络好可以 pip install requests测试是否安装成功，进入cmdimport numpy as npimport pandas as pdimport matplotlib as mpl 都正常...

创建mysql中数据create table test.python_mysql( id int,product varchar(50),price decimal(18,2),quantity int,amount decimal(18,2),orderdate datetime);insert into test.python_mysqlselect 1,'AAA',1...

先装解释器 python-3.6.0-amd64.exe自定义安装在某个目录下， 勾选增加到path，OptionalFeatures全选,AnvancedOptions勾选1-4 可以在cmd命令窗口中输入python进行查询，正常的会显示版本然后装pycharm，勾选64-bit-launcher(不知为啥我只能勾选32-bit-launcher但目前不影响使用)......

{}字典 []列表，取数dict[key] 和list[0]Python中不用花括号，分号。用缩进控制循环 break退出最近循环，continue跳过本次循环函数: 函数可以传递列表，字典 设计上每个函数都应该只负责一项工作 大部分代码应该移到函数上，这样让主函数更加有序导入包 不建议import *，同名的太多 ，容易覆盖...

目前想使用Web应用编程接口(API)自动请求网站的特定信息而不是整个网页。,再对这些信息进行可视化。 在本章中，将编写一个程序，他将自动下载GitHub上星级最高的Python项目信息，并对这些数据进行可视化。首先安装requests,(requests包让Python程序轻松向网站请求信息以及检查返回的响应)pip install --user reque...

文本文件中存储数据，最简单的是系列逗号分隔的CSV文件。分享一个气象数据csv文件链接：https://pan.baidu.com/s/1lIsySGvjsoONGDLyaR39TQ密码：5on4处理CSV文件-七月最高最低气温趋势图import csvfrom datetime import datetimefrom matplotlib import pyplot as ...

数据可视化指通过可视化探索数据，与数据挖掘紧密相连。数据挖掘是指通过代码探索数据集的规律和关联。 matplotlib[mæt'plotlib]是当前最流行的可视化和分析工具之一，想要使用它需要先安装pip搭建环境 在windows系统检查是否安装了pip，打开一个终端，执行一下命令python -m pip --version正常则无问题...