![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 55
熊猫学猿
这个作者很懒,什么都没留下…
展开
-
airflow设置dag并行运行task个数
concurrency是设置设置dag并行运行task的个数,但是default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2020,9,13),#任务启动时间点,须小于实际执行的时间的下一个间隔 'email': ['airflow@example.com'], 'email_on_failure': False, 'email_on_re原创 2021-07-08 10:49:31 · 2641 阅读 · 0 评论 -
熊猫学猿--therad和with
from threading import Threadclass methread(Thread): def __init__(self, name: str): super().__init__() self.name=name print(self.name) print('初始化'+'\n') def __enter__(self): self.start() print('in...原创 2021-03-18 15:58:43 · 97 阅读 · 0 评论 -
熊猫学猿--airflow与kubernetes结合
在接触一个新东西的时候,真的希望是一步步告诉怎么实现的,只有跑起来我才能它到底是干啥的1、安装minikube(我是用虚拟机上Linux系统进行的测试)下载minikubecurl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 | bash -s -- 2.2.0 1.4.8 -ssudo install kubectl /usr/local/bin/kubectl2、安原创 2021-01-15 09:37:53 · 964 阅读 · 0 评论 -
熊猫学猿--airflow执行python脚本时能捕捉执行结果
1、创建python脚本def main(): #处理脚本都用main函数下进行 print('hello') if __name__ == '__main__': try: main() sys.exit(0) except Exception as e: print(e) sys.exit(1)2、执行python的shdo /root/miniconda3/bin/python -u /root原创 2020-09-14 16:25:09 · 507 阅读 · 0 评论 -
熊猫学猿---airflow动态创建dag及task
"""Code that goes along with the Airflow located at:http://airflow.readthedocs.org/en/latest/tutorial.html"""from airflow.models import DAGfrom airflow.operators.bash_operator import BashOperatorfrom airflow.contrib.operators.ssh_operator import SSHO原创 2020-09-14 16:15:31 · 1478 阅读 · 0 评论 -
熊猫学猿--airflow创建父与子dag
"""Code that goes along with the Airflow located at:http://airflow.readthedocs.org/en/latest/tutorial.html"""from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom airflow.contrib.operators.ssh_operator import SSHOperator原创 2020-09-14 16:06:36 · 344 阅读 · 0 评论 -
熊猫学猿--airflow执行远程服务器命令
添加服务器链接使用SSHOperatorargs = { 'owner': 'xmxy', 'depends_on_past': False, "catchup": False, 'pool': 'syn_db', 'email': ['xiongmaoxueyuan@xiongmaoxueyuan.com'], 'email_on_failure': True, 'email_on_retry': False, 'start_date'原创 2020-09-14 15:58:28 · 1163 阅读 · 0 评论 -
熊猫学猿--airflow工作流
创建脚本在设置的dag目录下(/root/airflow/dags),新建.py文件使用官方文档的脚本from datetime import timedelta,datetime# The DAG object; we'll need this to instantiate a DAGfrom airflow import DAG# Operators; we need this to operate!from airflow.operators.bash_operator import原创 2020-09-14 15:34:29 · 295 阅读 · 0 评论 -
熊猫学猿--airflow安装、设置时区及设置管理权限
docker下安装1、 在Linux服务器上创建目录 mkdir airflow2、 拉取 git clone https://github.com/puckel/docker-airflow.git /root/airflow3、 docker run -d -p 8082:8080 puckel/docker-airflow4、 在mysql中创建数据库airflow5、 修改airflow支持的数据库为mysql 修改airflow.cfgsql_alchemy_conn = mysql:原创 2020-09-14 14:28:56 · 794 阅读 · 0 评论 -
熊猫学猿--数据分析入门2%--pandas
引入pandas包import pandas as pd这里是引入pandas包,并起了个别名pd,方便使用时简单书写获取数据做开发的时候数据获取一般就两种,一种时读取文件,一种是查询数据库从文件读取read_csvTrain_data=pd.read_csv('train.csv',index_col=['id'])这里Test_data是DataFrame类型,DataFrame是由多个Series组成。查看对DataFrame的操作有多种多样,可参考官方文档在运用中比较常见的原创 2020-09-12 16:21:02 · 240 阅读 · 1 评论 -
熊猫学猿--数据分析入门1%
大数据,智能AI就像程序界的明星一样,各行都想搞一搞。就连小学生都在开启python编程,我一个搞电路的朋友在问python是什么,怎么这么多广告。一个会计的朋友都说,他也在学python。一个老的php程序猿启动探索python之迷。接触新的语言有三步1、搭环境搭环境真的不是一件简单的事情,新手越不懂,越遇到各种兼容性问题,感觉环境搭成功了,语言之门就跨进了一半了。2、选开发软件在什么软件上开发,选对了真的会事半功倍。python安装后,会让你打开命令窗口,输入脚本看运行结果。即使写.原创 2020-09-12 15:27:25 · 136 阅读 · 0 评论 -
Python安装包离线安装
当无法联网,又需要安装包的时候,小傻子一个个的去网上下载安装。当发现一个打包下载,打包安装的时候,想想都是泪啊。1、在有网的服务器上下载包pip download agate2、将文件夹复制到离线服务器上,打开powershell执行pip install .\agate-1.6.1-py2.py3-none-any.whl --no-index --find-links ...原创 2020-04-09 15:02:54 · 699 阅读 · 1 评论 -
pandas读取json,时间被自动添加了当前日期,真是大坑
process_reslut = pd.read_sql_query(process_sql, gjcsdb, params=params)json_process=process_reslut.to_json(orient="records", force_ascii=False)after_reslut = pd.read_json(json_process)为了处理只...原创 2020-03-14 16:24:21 · 435 阅读 · 0 评论 -
熊猫学猿--selenium与chrome配置
1、安装模块 selenium2、下载Chromedrvier3、4、urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接原创 2020-03-12 10:56:37 · 151 阅读 · 0 评论 -
conda和pip设置国内下载源
执行如下命令 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ co...原创 2020-03-12 07:20:41 · 1247 阅读 · 1 评论 -
熊猫学猿--flask前端页面
1、下载bootstraphttps://getbootstrap.com/docs/4.3/getting-started/download/2、在项目目录下创建static文件夹,将下载的bootstrap解压到该static下3、新建html,layout.html,url_for引用bootstrap.css这里的block为定义模块<!DOCTYPE ...原创 2019-11-14 10:48:18 · 230 阅读 · 0 评论 -
熊猫学猿--flask初学应用
1、用pycharm安装flask模块2、引用模块,创建index.pyfrom flask import Flaskfrom flask import render_templateapp = Flask(__name__)@app.route('/')def index(): return render_template('index.html')if __n...原创 2019-11-12 14:46:29 · 164 阅读 · 0 评论 -
熊猫学猿--anaconda及jupyter notebook使用
初学python时,没用pycharm时,一直用命令窗口安装依赖包使用pycharm后,感觉用界面化操作添加依赖包更简洁。但总是遇到安装失败read time out安装anaconda后,创建项目很多依赖包不用一个个安装添加了anaconda下载路径https://www.anaconda.com/distribution/#download-section(这个下载如果很慢就...原创 2019-11-08 11:11:58 · 363 阅读 · 0 评论 -
python爬虫百度贴吧--又见一帘幽梦
import sysreload(sys)sys.setdefaultencoding( "utf-8" )import urllib2import urllibimport html5libimport jsonimport timeimport randomfrom bs4 import BeautifulSoupoutputFile = 'xiaoshuo.txt'f...原创 2019-02-26 04:38:01 · 296 阅读 · 0 评论 -
python爬虫下载图片--艺术网站
import sysreload(sys)sys.setdefaultencoding( "utf-8" )import MySQLdbimport MySQLdb.cursorsimport urllib2import urllibimport jsonimport reimport timeimport osimport randomfrom bs4 import B...原创 2019-02-26 04:47:37 · 161 阅读 · 0 评论 -
熊猫学猿--TensorFlow之什么是机器学习
熊猫最近才发现,近几年自己一直局限于PHP这个领域中,就像快被互联网封杀了。好恐怖,所以熊猫决定和机器一决高下。什么是机器学习呢?熊猫在想,每个宝宝出生的时候,都会起名字,所以我们给熊猫学猿的宝宝起名为【机器】,什么是机器学习,就是让机器宝宝拥有技能,掌握生活的本领。机器宝宝不是普通的计算机条令,只能执行,它被创造的是有智商的,可以通过学习来提高自己。 我们上学的时候,老师都让说...原创 2019-03-13 19:23:15 · 130 阅读 · 0 评论 -
熊猫学猿--TensorFlow之深度学习
深度学习,熊猫就很简单的理解为,更深层面的学习。但打开课本,确实先解释神经网络,神经网络不是我们学的生物吗,好像有有细胞,轴突,树突等组成。现在的神经网络居然是一种算法体系。该算法体系的核心结构是神经元,神经元有输入和输出。输入要经过【线性模型】和【激励函数】处理之后进行输出。激励函数,有Sigmoid函数,Tanh函数,ReLU函数,Linear函数。熊猫有一种学数学的感觉,但是怎么应用到实际中...原创 2019-03-13 20:08:01 · 147 阅读 · 0 评论 -
Windows下用PyCharm写python
一、下载python(https://www.python.org/downloads/windows/)后面默认安装二、运行python打开命令窗口 cmd测试三、安装PyCharm(下载地址http://www.jetbrains.com/pycharm/download/#section=windows,Community版)四、创建一个项目pythons...原创 2019-05-18 11:09:24 · 286 阅读 · 0 评论 -
熊猫学猿--python爬虫某商城所有商品的名称,价格,下载详情图片
用python爬了1000多个商品,把商品标题及价格整理进Excel列表,多线程下载商品详情图5万多张。import sysimport urllibimport jsonimport reimport timeimport osimport jsonimport requestsfrom bs4 import BeautifulSoupimport threadingi...原创 2019-07-03 16:59:44 · 300 阅读 · 0 评论 -
python学习问题记录
1、from bs4 import BeautifulSoup 报错 ImportError: No module named bs4引用之前我已经安装了 BeautifulSoup 模块,但还是报错,最终原因是我没有安装BeautifulSoup4,使用命令 pip install BeautifulSoup4,之后就解决了 2、从网页抓取的内容不全(还以为网站做了什么限制,不让抓取...原创 2017-08-16 16:13:13 · 294 阅读 · 0 评论