diying4880-CSDN博客

转载将一份代码推送到两个git仓库

方式比较low，但是感觉挺方便的，自己记录下。 Python后端，所以集成开发环境用的是pycharm，以pycharm为基础操作。 1. 首先从远程把代码clone下来后，在本地存好。 2. 通过pycharm配置同步文件夹： 3. 然后确定，文件夹右键，选择”UPLOAD TO 上一步配置的那个名字”。 4. 然后将这个文件夹...

2018-03-28 22:56:00 443

转载将数据量很大的CSV写入到HIVE

在kaggle下载了一个train.csv,用于测试公司平台决策树算法，该数据有一个label标签和784个特征列，名字如pixel0,pixel1…….pixel783。具体操作如下(pyspark下):from pyspark.sql import HiveContexthivec = HiveContext(sc) ...

2018-03-22 10:21:00 247

转载将csv或者Excel文件导入到hive

1. 将csv或Excel文件转换为文本，以逗号或者制表符都可以: xigua.txtid,color,root,stroke,venation,umbilical,touch,status1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是4,青绿,...

2018-03-21 14:47:00 362

转载 GitHub上想下载单个文件方法

找到该文件，单机raw,如下图: 然后会在网页打开该文件，复制URL，下载即可(如果是不可预览文件，会自动下载)。转载于:https://www.cnblogs.com/SmallCaff/p/10650692.html...

2018-03-20 11:30:00 113

转载 scp命令使用记录

# 拷贝本地文件到远程scp sample_multiclass_classification_data.txt johnny@johnny:/home/johnny/storage# 拷贝本地文件到远程并重命名scp sample_multiclass_classification_data.txt johnny@johnny:/h...

2018-03-20 11:23:00 241

转载 hadoop fs 常用命令记录

# 创建目录hadoop fs -mkdir /storage# 递归创建目录hadoop fs -mkdir /storage/johnny/data# 将服务器上的文件上传到hdfshadoop fs -put file_path hdfs_path 转载于:https://www.cnblogs.c...

2018-03-20 11:18:00 111

转载 Python正则贪婪非贪婪

自己遇到的问题，小记一下！# -*- coding: utf-8 -*-__author__ = 'Johnny'import reline = "baaaaacfbsbdada"reg_str = ".*(b.*b).*"match_str = re.match(reg_str, line)if match_str:...

2018-03-19 23:07:00 82

转载 python模块之ftplib

接上面两篇： UPDATE:下面两个链接是发布在简书的，感觉简书排版不好看，就迁移过来了。 python操作hdfs模块上传文件到HDFS python脚本—上传本机文件到远端(接上文) 由于与客户为未正式沟通，所以脚本再次发生变化，再次。。。（不能再客户机器安装东西，不能在客户机器跑脚本。。。）。随之，第三个脚本诞生。此次脚本...

2018-03-08 19:00:00 149

转载 python脚本---上传本机文件到远端（接上文）

上一个脚本刚写完，第二天不用了。。。需要传到linux服务器上。。。So,下一个脚本开始：1. 这次选择用的paramiko模块pip install paramiko2. 整体思路遍历本地目录放入集合读取上次上传到linux的文件信息（existsfile.log）放入另一个集合两个集合取补集(好像叫对称...

2018-03-08 18:58:00 183

转载 python操作hdfs模块上传文件到HDFS

因为公司需要，需要写一个脚本将Windows server上的部分日志文件同步到HDFS上，每天定时启动脚本上传。大体思路是，首先对比Windows server和HDFS上的是否一样，不一样就证明产生了新的日志文件，然后上传。折腾了一天才弄好。。。系统： Mac（确切的说是黑苹果，电脑老掉牙了，用起来还是挺卡的，木办法，穷使我坚持...

2018-03-08 18:51:00 208

转载 python查看模块、对象用法的命令

1. 在终端内输入pydoc+模块名，也就是我们import的那些smallcaffdeiMac:~ smallcaff$ pydoc time#######################################Help on module time:NAME time - This module prov...

2018-02-03 15:45:00 132

diying4880的博客