weixin_46546516的博客

原创 Hive笔记2 窗口函数

****

原创 Hive小结1

hive base 1

原创 log file save to hive table using flume

xxx

原创 SPARK KV RDD操作

scala 聚合操作

原创 SPAK Value RDD 之常见操作

spark RDD transform

原创 Spark RDD 之 数据读取

Note of rdd

原创 xgboost 梳理

首先给出论文链接xgb是哪一种集成方式？boosting， 也就是不放回采样，迭代学习错误样本，最终使损失最小。既然是迭代学习错误样本，就会有误差值，xgb 是怎样逼近误差？ 泰勒二项展开式，也就是高频考点，但是仅仅如此，还不足以了解 xgb。损失函数部分决策树y^i=ϕ(xi)=∑k=1Kfk(xi),fk∈F\hat{y}_{i}=\phi\left(\mathbf{x}_{i}\right)=\sum_{k=1}^{K} f_{k}\left(\mathbf{x}_{i}\right), \

原创 Latex 公式符号大全

原创 seaborn向导图随记

关系图relplot 可以画散点图与折线图，但是散点图配合分类数据好用，很容易看出分布情况，kind 作为两种图像的选择项scatterplot 散点图，The relationship between x and y can be shown for different subsets of the data using the hue, size, and style parameters.lineplot 与上类似，回归问题好用分布情况displot 分布图类型，kind 同样可以选

原创 torch softmax cross entropy loss record

cross entropy loss简单复习下，在多分类任务中，使用的损失函数通常为交叉熵损失函数。公式如下：loss=∑yitrue∗log(pi)loss = \sum y_{itrue} * log( p_i)loss=∑yitrue​∗log(pi​)使用numpy 跟 torch 实现代码为：def np_ce(y_pre, y): return -np.sum( y * np.log(y_pre))def t_ce(y_pre, y) return - torch.sum(y *

原创 tf1.15 & torch ___ 1

写在前面， 习惯用 Torch 来写代码，最近因为要搞一下bert，要看 tf1 的很多代码，干脆写个系列，一起来学，对比学习会创造更高的效率。经典开始 ：手写数字通用步骤input[ matrix ] —> fn —> loss —> bppublic --> data构造网络TF# fake input x = tf.placeholder(tf.float32, [None, features]) # 假装有训练数据y = tf.placeho

原创 安装虚拟机 centos 7杂记

原因：因配置环境变量，误操作有可能使得ll，ls等命令不能使用解决方式 export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin source /etc/profile/etc/profile 与~/.bash_profile的区别在于etc下配置的环境变量是供所有用户使用的，而/.bash_profile配置的环境变量只供当前用户使用...

原创 matplotlib 之多图模式记录

创建画布，这个画布是指显示出来的图画的大小fig = plt.figure(figsize=(20, 10), dpi= 80) 把原有画布划分粒度，这里把 (16 * 10)的画布，分成16分, hspace 为子图上下间距， wspace 为子图左右边际grid = plt.GridSpec(8, 4, hspace= 2, wspace=0.2) 在grid 中划分出子图， 并指定方位ax_top = fig.add_subplot(grid[:2, :-1], xticklabe

原创 C语言之指针

为啥要指针C语言用变量来存储数据，用函数来定义一段可以重复使用的代码，这两个构成了所有人眼可识别的逻辑，当程序运行时，为了方便计算，内存会加载所编译的数据，此时就会有寻址的操作。指针的出现，就是告诉计算机，我的数据在哪里存储。怎么表示...

原创 Graph Embedding, Vertex Embedding

一般讲的GCN跟图卷积，还有deep walk 什么的，一时糊涂了，记录下查询结果。先写出相关算法Vertex embedding approaches: LLE, Laplacian Eigenmaps, Graph Factorization, GraRep, HOPE, DNGR, GCN, LINEGraph embedding approaches: Patchy-san, sub2vec (embed subgraphs), WL kernel andDeep WL kernels其

原创 Liunx --- 进程线程皮毛

我们知道，应用的可执行文件是放在文件系统里，把可执行文件启动，就会在操作系统里（具体来说是内存中）形成一个应用的副本，这个副本就是进程。插一个小知识，以后你再遇到面试题：什么是进程？可以回答：进程是应用的执行副本；而不要回答进程是操作系统分配资源的最小单位。前者是定义，后者是作用。PS , p 代表 processes，也就是进程；s 代表 snapshot,ps : show processes on TTYps -ef : show all processesps aux : aux st

原创 Linux 入门 ---- 够用就行

什么是ShellShell 把我们输入的指令，传递给操作系统去执行，所以 Shell 是一个命令行的用户界面，平时一个词是Bash （Bourne Again Shell) 是 shell 组成的程序。也就是说，我们熟悉的cat 指令，是由shell来实现的。我们日常所用的命令，都会记录在文件中，比如：which less，会显示出less 抽象出来的程序我们可以猜测，在 linux 中，一切皆文件，哪里不对，找文件！！！文件类型Linux 下的目录也是一种文件；但是文件也不只有目录和可执行文件

原创 Xpath，CSS 语法提取

节点父节点子节点同袍节点：同父节点的所有子节点先辈节点后代节点XPATH表达式说明article选取所有article 元素的所有子节点/article选取根元素 articlearticle/a选取所有属于article 的子元素的a 元素//div选取所有 div 子元素(不论出现在文档任何地方)article//div选...

原创 unicode, utf8

字符串编码计算机只能处理数字，文本转换为数字才能处理。计算机中8个bit 作为一个字节，一个字节最大的数字为 28−12^8 - 128−1 = 255ASCII 原本位一个字节一个字符，是美国人的标准编码ASCII 处理中文明显不够，所以中国用GB2312 编码，两个字节进行编码 。同理，各国都会有自己的编码，这是需要全部统一，进行统一编码unicode 统一了编码ASCII &am...

原创 crawler-base

正则表达式开头结尾^ :开头 ： “^a.*” 以a 开头的string$ : 结尾 ： “.*3$” 以3为结尾的string“^a.*3$” 以 a开头3结尾的string贪婪非贪婪“?” 非贪婪模式贪婪模式： 字符串默认从后向前匹配字符，只要有结果就返回line = "zhongooooooooooooooooooguogooogiiig111g123...