Python
点滴笔记
点滴笔记、努力生活、加油!
展开
-
Python | 将HDFS文件上传到阿里云
# -*- coding: UTF-8 -*- #!/usr/local/bin/python2.7 ##/usr/bin/python #import codecsimport osimport shutilimport json import sys import paramikoimport hashlibimport requestsimport socketi...原创 2020-03-19 14:17:22 · 361 阅读 · 0 评论 -
Python | 基于PythonWebHDFS迁移HDFS数据到本地并压缩
先回顾下之前PythonWebHDFS的操作 :基于WebHDFS REST API操作HDFS记录下工作中写过的脚本,如下:1、dateUtile.py: 主要选取需要迁移数据的时间区间。import datetimeimport sysimport os def dateRange(beginDate, endDate): dates = [] dt ...原创 2020-03-18 18:56:09 · 535 阅读 · 0 评论 -
Python | Python3 Windows 下载视频
第一步:下载安装Python3,并配置好环境变量等。官网下载地址, https://www.python.org/downloads/windows/下载可执行文件,如下:第二步: "Win+R" 快捷键进入CMD黑框框状态,如下Check:第三步: 通过pip3安装you-get工具:然后按提示在分别执行这两个 更新升级命令:pip3 install...原创 2020-03-18 18:42:53 · 1387 阅读 · 0 评论 -
Python | Logging实现日志输出到文件
记录下Python中使用Logging实现日志输出到文件,实例如下:# -*- coding: UTF-8 -*- #!/usr/bin/python import logging from logging import handlers # 创建一个logger并设置日志等级logger = logging.getLogger()logger.setLevel(loggin...原创 2019-12-20 13:59:17 · 2285 阅读 · 1 评论 -
Python | 基于WebHDFS REST API操作HDFS
记录下基于WebHDFS REST API操作HDFS的基本功能,具体更多请参照官网介绍:http://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html# 获取客户端连接client = Client(url='http://192.168.0.1:50070', root=None, ...原创 2019-12-20 12:00:42 · 1143 阅读 · 0 评论