求知:数据科学家之路

爱学习爱女神

GIT使用总结

根据个人工作中使用git总结而来git认证去github上创建仓库提交文件分支代码冲突更新代码后正确操作过滤某些文件删除远程的文件或文件夹 git认证 git认证指使用git能与github或gitlab 进行通信。这里将以github为例来说明。 1、设置姓名和邮箱地址 git config -...

2018-11-06 20:18:36

阅读数:44

评论数:0

pandas日常使用总结

总结使用pandas中遇到的问题 小数点的精度 在pandas里面有round,可以做四舍五入,但如果是只保留给定的位数,不做精度处理呢?那就不能使用round函数了。 import pandas as pd data = pd.DataFrame([[1.4354,2.65...

2018-09-01 12:42:07

阅读数:98

评论数:0

ubuntu 使用总结

最近要测试几个开源框架,但在windows上测试一直报错,于是选择在windows上装虚拟机来安装ubuntu系统。把我的遇到的都写写总结 源 系统源 替换python pip源 版本依赖问题 卸载 不同版本的ubuntu 源 系统源 系统源会涉及到在终端...

2018-08-02 20:30:20

阅读数:100

评论数:0

Shell日常使用中问题总结

记录日常工作中遇到的shell问题,持续发现错误 引号 在shell中有单引号、双引号,其中单引号更加的严格,关闭所有有特殊作用的字符,会将里面的内容按照原始的状态输出;双引号,会忽略很多特殊符号,但$、反引号、反斜杆,如$、反引号、反斜杆,如\$、反引号、反斜杆,如$,会以参数传递的...

2018-07-30 23:03:00

阅读数:74

评论数:0

HIVE执行、装载数据以及shell结合有关的总结

在写hive中常用的方法时,感觉到那个页面只适合写函数等方法性的东西,没法对一个很常用的东西做深入探究总结,顾新开一个页面来详细介绍HIVE的深入综合性操作。函数页面内容见:https://blog.csdn.net/xxzhangx/article/details/81009738 注...

2018-07-25 16:02:38

阅读数:194

评论数:2

numpy中常用的函数总结

不定期更新,多积累 where 位置函数,

2018-07-18 15:18:07

阅读数:89

评论数:0

HIVE窗口函数

重点介绍窗口函数的语法定义,函数应用范围,案例结合。下面内容是根据网上资料整理而成,均带有链接 窗口函数的应用场景http://yugouai.iteye.com/blog/1908121 LEAD 语法定义 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n...

2018-07-16 16:19:46

阅读数:326

评论数:0

Hive SQL 日常工作使用总结

写写日常在使用Hive SQL做分析时经常使用的一些函数或者方法 like like用于指定特定的字符串,或结合正则做模糊匹配 select uid from dw.today where tunittype like '%wew.%' rlike是hive中对like的...

2018-07-12 10:00:06

阅读数:288

评论数:1

Scrapy爬虫自学笔记(一)

工作之余,多学习,补充技术不足。 1、新建scarpy项目 打开cmd,切换到工作目录中 新建项目,命名为tutorial scrapy startproject tutorial 2、创建新的爬虫任务 scrapy genspider example exam...

2018-05-31 20:17:05

阅读数:176

评论数:0

【申明】博客搬个家

声明 我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=15v3dm3y640h4 加油

2018-05-04 16:04:34

阅读数:128

评论数:0

python | os包常用命令介绍

os包的常用命令介绍,熟练的使用它能快速解决常用遇到的问题。本博文有参考:https://www.cnblogs.com/yigehundan/p/6379586.html 先写自己遇到的用法。 改变工作目录 import os os.chdir("") 返回当...

2018-01-28 15:27:16

阅读数:864

评论数:0

python | pandas 改变列的位置、填充缺失值

本期的文章源于工作中,需要固定label的位置,便于在spark模型中添加或删除特征,而不影响模型的框架或代码。 spark的jupyter下使用sql 这是我的工作环境的下情况,对你读者的情况,需要具体分析。 sql = ''' select * from tabl...

2018-01-28 14:50:52

阅读数:1684

评论数:0

tensorflow | 维度转换

学习维度转换 shape 计算维度 tf.shape(input,name = None) 案例1 a = tf.constant([i for i in range(20)],shape =[2,2,5]) with tf.Session() as sess: print ...

2017-12-20 15:42:28

阅读数:2919

评论数:1

tensorflow | 随机数

使用tensorflow自带的随机种子函数来产生的随机数还是随机的,一脸尴尬。先介绍随机种子的使用。再来介绍随机函数。 随机种子案例一:结果不一样import tensorflow as tf b = tf.random_normal([1],seed = tf.set_random_seed(1...

2017-12-19 21:13:59

阅读数:2698

评论数:0

tensorflow | 重新学习 | 了解graph 和 Session

源于工作需要,重新学习tensorflow,好久未使用,忘记的差不多了。 tensorflow的基础框架tensorflow中是由Graph和Session组成,Graph负责将计算架构搭建起来,Session则负责将数据输入、执行模型、产出结果。分工明确,严格分割开来。其中,Graph和Sess...

2017-12-19 17:21:45

阅读数:537

评论数:0

sql | 基础总结 | 思维导图

看到好的文档,总结的很好,于是便将它按照我的理解来做了一番总结。整体思路 基础语法 查询 查询所有的 查询部分字段 去重复行DISTINCT 语法 区间语句 语法 指定条件语句 语法 AND语句 语法 OR语句 语法 排序语句 语法 汇总语句 语法 求一列的最大值 语法 求一列的最小值 语法 求平...

2017-10-09 19:13:00

阅读数:931

评论数:1

python | 统计频次

自定义函数计算每个类型出现的次数统计词频 方案一 方案二 案例思路来源统计词频方案一def get_counts(sequence): counts = {} for x in sequence: if x in counts: counts...

2017-10-09 15:37:20

阅读数:3456

评论数:0

机器学习 | 线性回归

计划好久,还欠下的债。 问题一: 最小二乘法和梯度下降法的区别在回答这个问题前,有必要来推导下线性回归的公式,方能说到实处。开始公式如一元线性回归,即只有一个自变量,那也只有两个参数w1w_{1}和w0w_{0},表达式如下:f(x)=w0+w1∗x1f(x) = w_{0} + w_{1}*x_...

2017-10-07 20:35:38

阅读数:233

评论数:0

mysql | 计算排名

> 计算排名  计算排名 给出每个人的排名 LeetCode上的计算排名 方案一 方案二 方案三 方案四 例子: https://www.1keydata.com/tw/sql/sql-rank.html给出每个人的排名SELECT a1.Name, a1.Sales, COUNT(a2....

2017-10-07 15:57:22

阅读数:2089

评论数:0

mysql |那些关于第二大的事

经常遇到关于第二大的计算,如找到销售量第二大的id等等这类问题。 一下是我的学习总结,有些来自网络,出处会给出详细的链接,方便寻找源码。题目 第二高的薪水 来源https://leetcode.com/problems/second-highest-salary/description/ 方案一...

2017-10-07 15:14:58

阅读数:492

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭