求知:数据科学家之路

爱学习爱女神

python | subprocess调度shell命令

subprocess调度shell命令 内容:1、介绍subprocess包的使用;2、举几个例子

2019-01-26 10:42:26

阅读数 32

评论数 0

nohub后台挂起任务

基本命令 nohup command & 例子 nohup python data.py > myout.file 2>&1 & > 重定向 myout....

2019-01-18 22:06:00

阅读数 31

评论数 0

shell | crontab 定时任务

在liunx系统下设置定时任务,也是工作中很有必要熟悉的工具 格式 * * * * * 解释器 脚本(可能会带参数) >>printlog.log 2>&1 -- 第一颗星表示分钟(0-59),第二颗星...

2019-01-04 13:28:44

阅读数 61

评论数 0

python | argparse传递参数

通过命令行的形式来传递参数,使得配置参数容易起来。这里介绍python包argparse 第一步:定义函数 import os import pandas as pd import argparse def get_onefile_result(filename, thres...

2018-12-28 14:23:07

阅读数 212

评论数 0

python | configparser配置文件

python | configparser配置文件 通过配置文件来管理不怎么经常改变的参数,同时保证下次修改又能很快捷,就可以使用ini的配置来管理。 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器...

2018-12-28 13:16:59

阅读数 100

评论数 0

GIT使用总结

根据个人工作中使用git总结而来git认证去github上创建仓库提交文件分支代码冲突更新代码后正确操作过滤某些文件删除远程的文件或文件夹 git认证 git认证指使用git能与github或gitlab 进行通信。这里将以github为例来说明。 1、设置姓名和邮箱地址 git config -...

2018-11-06 20:18:36

阅读数 73

评论数 0

pandas日常使用总结

总结使用pandas中遇到的问题 小数点的精度 在pandas里面有round,可以做四舍五入,但如果是只保留给定的位数,不做精度处理呢?那就不能使用round函数了。 import pandas as pd data = pd.DataFrame([[1.4354,2.65...

2018-09-01 12:42:07

阅读数 166

评论数 0

ubuntu 使用总结

最近要测试几个开源框架,但在windows上测试一直报错,于是选择在windows上装虚拟机来安装ubuntu系统。把我的遇到的都写写总结 源 系统源 替换python pip源 版本依赖问题 卸载 不同版本的ubuntu 源 系统源 系统源会涉及到在终端...

2018-08-02 20:30:20

阅读数 133

评论数 0

Shell日常使用中问题总结

记录日常工作中遇到的shell问题,持续发现错误 引号 在shell中有单引号、双引号,其中单引号更加的严格,关闭所有有特殊作用的字符,会将里面的内容按照原始的状态输出;双引号,会忽略很多特殊符号,但$、反引号、反斜杆,如$、反引号、反斜杆,如\$、反引号、反斜杆,如$,会以参数传递的...

2018-07-30 23:03:00

阅读数 105

评论数 0

HIVE执行、装载数据以及shell结合有关的总结

在写hive中常用的方法时,感觉到那个页面只适合写函数等方法性的东西,没法对一个很常用的东西做深入探究总结,顾新开一个页面来详细介绍HIVE的深入综合性操作。函数页面内容见:https://blog.csdn.net/xxzhangx/article/details/81009738 ...

2018-07-25 16:02:38

阅读数 309

评论数 2

numpy中常用的函数总结

不定期更新,多积累 where 位置函数,

2018-07-18 15:18:07

阅读数 147

评论数 0

HIVE窗口函数

重点介绍窗口函数的语法定义,函数应用范围,案例结合。下面内容是根据网上资料整理而成,均带有链接 窗口函数的应用场景http://yugouai.iteye.com/blog/1908121 LEAD 语法定义 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n...

2018-07-16 16:19:46

阅读数 531

评论数 0

Hive SQL 日常工作使用总结

写写日常在使用Hive SQL做分析时经常使用的一些函数或者方法 like like用于指定特定的字符串,或结合正则做模糊匹配 select uid from dw.today where tunittype like '%wew.%' rlike是hive中对like的...

2018-07-12 10:00:06

阅读数 558

评论数 1

Scrapy爬虫自学笔记(一)

工作之余,多学习,补充技术不足。 1、新建scarpy项目 打开cmd,切换到工作目录中 新建项目,命名为tutorial scrapy startproject tutorial 2、创建新的爬虫任务 scrapy genspider example exam...

2018-05-31 20:17:05

阅读数 235

评论数 0

【申明】博客搬个家

声明 我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=15v3dm3y640h4 加油

2018-05-04 16:04:34

阅读数 152

评论数 0

python | os包常用命令介绍

os包的常用命令介绍,熟练的使用它能快速解决常用遇到的问题。本博文有参考:https://www.cnblogs.com/yigehundan/p/6379586.html 先写自己遇到的用法。 改变工作目录 import os os.chdir("") 返回当...

2018-01-28 15:27:16

阅读数 1260

评论数 0

python | pandas 改变列的位置、填充缺失值

本期的文章源于工作中,需要固定label的位置,便于在spark模型中添加或删除特征,而不影响模型的框架或代码。 spark的jupyter下使用sql 这是我的工作环境的下情况,对你读者的情况,需要具体分析。 sql = ''' select * from tabl...

2018-01-28 14:50:52

阅读数 2070

评论数 1

tensorflow | 维度转换

学习维度转换 shape 计算维度 tf.shape(input,name = None) 案例1 a = tf.constant([i for i in range(20)],shape =[2,2,5]) with tf.Session() as sess: print ...

2017-12-20 15:42:28

阅读数 3820

评论数 1

tensorflow | 随机数

使用tensorflow自带的随机种子函数来产生的随机数还是随机的,一脸尴尬。先介绍随机种子的使用。再来介绍随机函数。 随机种子案例一:结果不一样import tensorflow as tf b = tf.random_normal([1],seed = tf.set_random_seed(1...

2017-12-19 21:13:59

阅读数 3081

评论数 0

tensorflow | 重新学习 | 了解graph 和 Session

源于工作需要,重新学习tensorflow,好久未使用,忘记的差不多了。 tensorflow的基础框架tensorflow中是由Graph和Session组成,Graph负责将计算架构搭建起来,Session则负责将数据输入、执行模型、产出结果。分工明确,严格分割开来。其中,Graph和Sess...

2017-12-19 17:21:45

阅读数 676

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭