- 博客(47)
- 收藏
- 关注
RSS订阅原创 git常用命令（持续更新，自用）
git常用命令（持续更新，自用）git删除远程分支git删除远程仓库的文件或者目录git删除远程分支查看所有的分支，有remotes/开头的就是远程分支git branch -a假设要删除new-a的远程分支，我们需要先把分支切换到master，因为你现在所在的分支就是new_a，在这个分支下，是不能删除它的。使用命令：git checkout master删除远程分支的命令git push original --delete new_a(分支名)可能要输入账号密码，如果配置了SSH就不用
2020-12-25 14:44:33
350
原创 knowledge-aware path 和 meta-path的区别
knowledge-aware path 和 meta-path小编对meta-path和knowledge-aware path的了解仅限于几篇论文，所以只会在这几篇中进行讨论meta-path背景：Meta-HIN的文章是在元学习的基础上引入了异构信息网络，其中异构信息网络是由meta-path构成，所以那时候算是初步了解meta-path：meta-path中的结点可以是user、movie、actor、director，边是代表关系relation，那么一条meta-path定义为一
2020-12-14 16:17:38
543
3
原创 多分类问题中sklearn的RFECV指定scoring函数
先亮代码from sklearn.feature_selection import RFECVimport pandas as pdfrom sklearn.model_selection import StratifiedKFoldfrom sklearn.svm import SVCfrom sklearn.metrics import *from sklearn.multiclass import OneVsRestClassifier# 加载数据部分data = pd.read_c
2020-07-25 11:29:59
5404
4
原创 Git Clone遇到的网络访问错误问题Failed connect to github.com:443
fatal: unable to access 'https://github.com/kimiyoung/transfer/': Failed connect to github.com:443如果是新安装的git没有任何配置的话：配置代理访问git config -l查看配置列表git config --global http.proxy "localhost:1080"git config --global https.proxy "localhost:1080"再次查看git c
2020-06-06 17:36:39
3344
原创 Linux学习笔记 --- 在centos中添加一个普通用户
useradd命令创建用户useradd [用户名]passwd命令设置密码passwd [用户名]visudo命令（或者vi /etc/sudoers）参考Linux学习笔记 — xxx is not in the sudoers fileroot用户下运行：visudo其他可能用到的功能：更改文件所属，recursive给某个用户chown -R [组名]:[用户名] 文件或文件目录位置-R --recursive change files and direct
2020-05-23 18:39:03
342
原创 Linux学习笔记 --- xxx is not in the sudoers file
在Centos下没使用root用户的时候，操作root用户权限可操作的文件的时候。需要使用sudo命令，但是当你使用的时候sudo mv, cp等命令的时候会报错，出现以下提示信息解决方案是切换到root用户，输入visudo等价于vi /etc/sudoers找到root ALL=(ALL) ALL，在下面添加一行xxx ALL=(ALL) ALL 其中xxx是你要加入的用户名称...
2020-05-23 18:28:20
258
原创 kafka面试题
面试问题1.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？2. Kafka中的HW(High Watermark)、LEO(Log End Offset)等分别代表什么？3. Kafka是怎么体现消息顺序性的？4. Kafka中的分区器、序列化器、拦截器是否了解？他们之间的处理顺序是什么？5. Kafka生产者客户端的整体结构怎样的？使用了几个线程来处理？分别是什么？6. “消费者中的消费者个数如果超过topic的分区，那么就会有消费者
2020-05-23 12:49:57
2379
2
原创 Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS
Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS
2020-05-17 12:47:27
11503
1
原创 Hadoop基本概念
hadoop引言存储计算hadoop核心解决两个问题HDFS大数据文件存储 hadoop分布式文件存储系统MapReduce编程框架hadoop hdfs架构： DataNode NameNodeBlockDataNode 300GBlockDataNode 300GBlockDataNode 300GBlockDataNode 300Gmeta data ip 文件名 block...NameNode1TB数据输入...
2020-05-17 12:42:12
259
原创 Linux的ll命令详解
ll命令ls列出文件列表ls -l的简写，Ubuntu默认不支持命令ll，必须用 ls -l，这样使用起来不是很方便。如果要使用此命令，可以作如下修改：打开 ~/.bashrc找到 #alias ll=’ls -l’，去掉前面的#就可以了。（关闭原来的终端才能使命令生效）这样个人用户可以使用ll命令，当切换成超级用户后，使用ll命令时提示找不到命令，那是因为你只是修改了个人用户的配置，所以，切换成root后做相同的操作即可解决问题。启示：我们可以通过修改~/.bashrc添加任何其他的命令别名
2020-05-17 10:59:30
4363
原创 Linux创建多个虚拟机来配置Hadoop集群环境（二）
查看hadoop的解压缩目录结构bin 可执行二进制脚本文件etc/hadoop目录 hadoop系统配置文件所在目录hadoop-env.sh 配置环境core-site.xml 配置hdfs集群核心配置hdfs-site.xml 用来对hdfs文件系统做配置sbin 可执行二进制脚本文件share hadoop的文档和运行核心包配置hadoop的环境变量 /etc/profileexport HADOOP_HOME=hadoop安装目录export PATH=HADOOPHOME
2020-05-16 22:10:54
260
原创 Centos的vim安装以及常用的命令
安装vim首先最原始的centos安装，也就是当时安装centos的时候选的是最简单版本的centos默认是没有vim这个东东的，这也就是为什么你能用vi命令却不能用vim命令的原因，用vim就会报错， no command vim…乱七八糟啥啥的，“然而也不会提醒你装vim”，手动狗头，垃圾Linux哈哈哈哈哈哈哈进入正题，查看一下本机已安装的vim包rpm -qa|grep vim一般只会显示一个包，所以用下面的命令吧所有vim包全给他安排上yum -y install vim*最后是这
2020-05-16 20:20:18
1072
原创 Linux创建多个虚拟机来配置Hadoop集群环境（一）
linux下配置多个虚拟机，利用VMvare的克隆功能对每一个机子逐一配置（我记得b站上有一个视频讲解是可以一键同步配置的，但是我忘记了），然后主要流程就是准备->安装->配置->启动！
2020-05-16 13:19:34
602
原创 linux命令中cd / 和 cd ~ 是什么意思？
cd命令：切换当前目录百至其它目录，比如进入/etc目录，则执行 cd /etccd /: 在Linux 系统中斜杠“/”表示的是根目录。cd / ,即进入根目录.cd ~命令是，进入用户在该系统的home目录，例如xz用户，则进入/root/xz目录。...
2020-05-16 10:07:41
18320
3
原创 MobaXterm连接虚拟机时出现Access denied
找了半天，又是防火墙又是etc下ssh和sshd最后发现specify username是服务器的用户名，自己是不可以随意输入的必须输入你要链接的虚拟机的用户名。最开始我也是自己随便写的名字：zsh，但是不管你密码输入的对不对都会出现Access denied。所以还是要懂啊，怎么用这个软件，继续摸索Specify username一定要填远程的主机用户名，超级用户就写root！！...
2020-05-16 08:52:42
5616
原创 尚硅谷Flink教程学习笔记（Flink运行时架构）
source 读取数据源，rebalance 随机重新分区，flatmap基于 hashcode 重分区，key aggregate 聚合操作，最后传播到 sink 进行输出这里面涉及到宽依赖和窄依赖的知识比如说StreamWordCount代码里的filter、map、keyby就是一个任务链，当具有相同并行度的时候就会被Flink链接成一个任务链，也即看做一个task，里面有三个算子filter、map、keyby来看一下：启动我们的集群：然后到webUI界面看一下我们提交的Stre
2020-05-15 21:44:05
2066
原创 尚硅谷Flink教程学习笔记（部署提交）
课程地址先来分析一下文件flink-1.10.0-bin-scala_2.11.tgz解压之后是这样的：conf文件夹下存储了flink的所有配置文件：打开flink-conf.yaml分析一下################################################################################# Licensed to the Apache Software Foundation (ASF) under one# or mo
2020-05-14 18:01:07
855
1
原创 尚硅谷Flink教程学习笔记（流处理WordCount）
视频链接在批处理代码里，读取文件的时候，读取的每一行就是一个时间，并不是整个文件是一个streammap操作可以改变我们DataSet里的具体类型groupby之后得到的是一个GroupedDataSetsum之后得到一个AggregateDataSet...
2020-05-14 13:27:21
1007
原创 尚硅谷Flink教程学习笔记（批处理wordcount）
B站视频wordcount首先创建好自己的maven项目，然后在src文件下新建一个文件夹叫scala并且标记为源文件目录然后是pom.xml文件的配置，加入下列依赖和plugins之后让maven自己导入就行了<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc
2020-05-13 20:20:33
730
原创 Flink第一课：初入Flink(结构篇)
文章目录1. Flink是什么1.1处理无边界和有边界数据1.2 任何地方都可以部署Flink应用1.3 能够以任何规模运行应用程序1.4 利用 In-Memory 性能2. 为什么要用Flink2.1 哪些行业需要处理流数据3. 流处理的发展和演变4. Flink的主要特点4.1 Flink的其他特点5. Flink vs Spark Streaming1. Flink是什么Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算Flink 框架的重要方面：1.1处
2020-05-12 08:36:04
351
原创 浅谈Factorization Machiens(FM) 和 Matrix Factorization(MF)因子分解机和矩阵因子分解两个概念及其区别
矩阵影子分解是一种很好的分接矩阵的办法，它能够将矩阵分解为两个矩阵，以使它们的乘积与原始矩阵非常匹配与矩阵因子分解相比，因子分解机本质上是更通用的。我们常见的问题表述本身是非常不同的，它被公式化为线性模型，特征之间的交互作用作为附加参数。此功能交互以其潜在空间标识而不是其纯格式完成。因此，除了像矩阵分解中的特征相互作用外，它还采用了不同特征的线性权重因此，与矩阵因子分解相比，主要区别如下：在通常使用矩阵因子分解的推荐系统中，我们班態使用辅助功能。例如，对于电影推荐系统，我们不能再矩阵分解..
2020-05-11 21:05:52
1088
2
原创 Numpy中的newaxis属性：np.newaxis
意思就是字面意思，建立新维度具体来看例子>>>import numpy as np>>>np.newaxis:插入新维度>>>a=np.array([1,2,3,4,5])>>>aa=a[np.newaxis,:]>>>aa.shape(1, 5)>>>aa[[1 2 3 4 5]] >>>a=np.array([1,2,3,4,5
2020-05-10 08:11:04
893
原创 矩阵操作中的nonzero()
老规矩，贴源码解释 def nonzero(self): """nonzero indices Returns a tuple of arrays (row,col) containing the indices of the non-zero elements of the matrix. 返回包含矩阵的非零元素索引的数组(行、列)的元组 Examples -------- >
2020-05-10 08:00:34
666
原创 Numpy中的argpartition()方法
每天都有新发现，每天都要新积累贴个源码里的解释然后给出翻译哈哈哈@array_function_dispatch(_argpartition_dispatcher)def argpartition(a, kth, axis=-1, kind='introselect', order=None): """ Perform an indirect partition along the given axis using the algorithm specified by the
2020-05-10 07:45:21
1210
1
原创 numpy.hstack()用法参考
numpy.hstack(tup)Stack arrays in sequence horizontally (column wise)按顺序水平排列数组(不同数组按列拼在一起，比如：第一个数组的第一列和第二个数组的第一列拼接在同一行，以此类推)。This is equivalent to concatenation along the second axis, except for 1-D arrays where it concatenates along the first axis. Rebu
2020-05-10 06:16:21
6064
1
原创 python字典：dict的方法的使用以及代码举例
字典可以通过将以逗号分隔的 键: 值 对列表包含于花括号之内来创建，例如: {‘jack’: 4098, ‘sjoerd’: 4127} 或 {4098: ‘jack’, 4127: ‘sjoerd’}，也可以通过 dict 构造器来创建。class dict(**kwarg)class dict(mapping, **kwarg)class dict(iterable, **kwarg)...
2020-05-07 16:18:27
617
1
原创 Numpy的argsort()方法
numpy.argsort(a, axis=-1, kind=None, order=None)Returns the indices that would sort an array.返回对数组排序的索引。Perform an indirect sort along the given axis using the algorithm specified by the kind k...
2020-05-07 13:59:48
734
原创 python的zip()方法
zip(*iterables)创建一个聚合了来自每个可迭代对象中的元素的迭代器。返回一个元组的迭代器，其中的第 i 个元组包含来自每个参数序列或可迭代对象的第 i 个元素。 当所输入可迭代对象中最短的一个被耗尽时，迭代器将停止迭代。 当只有一个可迭代对象参数时，它将返回一个单元组的迭代器。 不带参数时，它将返回一个空迭代器。 相当于:def zip(*iterables): # zi...
2020-05-07 13:45:04
284
原创 python内置函数sorted()参考
sorted(iterable, *, key=None, reverse=False)根据 iterable 中的项返回一个新的已排序列表。具有两个可选参数，它们都必须指定为关键字参数。key 指定带有单个参数的函数，用于从 iterable 的每个元素中提取用于比较的键 (例如 key=str.lower)。 默认值为 None (直接比较元素)。reverse 为一个布尔值。 如果...
2020-05-07 13:06:08
127
原创 Python之NumPy（axis=0 与axis=1）区分
axis=0代表往跨行（down)，而axis=1代表跨列（across)使用0值表示沿着每一列或行标签\索引值向下执行方法使用1值表示沿着每一行或者列标签模向执行对应的方法比如：import numpy as np>>>a = array([[1. , 1.21], [1. , 1. ], [0. , 0. ], [0. , 0.0...
2020-05-07 09:29:29
203
原创 numpy.tile()方法的参数说明以及使用代码举例
numpy.tile(A,reps)\mathbf{ numpy.tile(A, reps)}numpy.tile(A,reps)方法：Construct an array by repeating A the number of times given by reps.通过重复reps给出的次数来构造一个数组。If reps has length d, the result will h...
2020-05-07 08:57:57
446
原创 L1正则化和L2正则化
正则化正则化可理解为一种“罚函数法”，即对不希望得到的结果施加惩罚，从而使得优化过程趋向于希望目标从贝叶斯估计的角度来看，正则化项可认为是提供了模型的先验概率B站视频讲解链接为什么加正则化项可以防止过拟合？从数学的角度来说，加正则化项就相当于加约束条件，加了约束条件使很多的参数分量wi=0w_i=0wi=0（特征选择）从而降低模型复杂度，也就防止因为参数过多导致的过拟合现象机...
2020-05-06 15:44:59
512
原创 支持向量机学习笔记
支持向量机线性可分支持向量机间隔最大化：硬间隔最大化以充分大的确信度对训练数据进行分类泛化能力强，对新实例有很好的预测性支持向量机学习的最优化问题（写成平方形式，平滑，易于优化）最大间隔分离超平面的存在唯一性证明超平面的存在性和唯一性（唯一性就是仅有一组最优解w∗,b∗w^*,b^*w∗,b∗）求解最优化线性可分支持向量机的对偶算法优点：对偶问题往往更容易求解，自然引入核...
2020-05-05 21:10:51
876
原创 求最大间隔分离超平面如何转化为了一个凸二次优化的问题？
考虑如何求得一个几何间隔最大的分离超平面（函数间隔也是一样的），即最大间隔分离超平面，那么可以表示为下面的约束最优化问题：maxw,b γs.t.yi(w∣∣w∣∣⋅xi+b∣∣w∣∣)≥γ,i=1,2,...,N\mathop{max}\limits_{w,b}\space\gamma\\s.t.\quad y_i\left({w\over||w||}\cdot x_i+{b\o...
2020-05-05 16:07:17
1026
原创 凸优化问题
凸优化问题是指约束优化问题：minwf(w)s.t.gi(w)≤0i=1,2,...,khi(w)=0i=1,2,...,l\mathop{min}\limits_{w}f(w)\\s.t.\quad g_i(w)\leq0\quad i=1,2,...,k\\h_i(w)=0\quad i=1,2,...,lwminf(w)s.t.gi(w)≤0i=1,2,...,khi(w)=...
2020-05-05 16:04:15
321
原创 机器学习：仿射函数
定义：f(x)f(x)f(x)称为仿射函数，如果它满足 f(x)=a⋅x+b,a∈Rn,b∈R,x∈Rnf(x) =a\cdot x+b, a\in\mathbf R^n,b\in\mathbf R,x\in\mathbf R^nf(x)=a⋅x+b,a∈Rn,b∈R,x∈Rn举个例子：如果xxx是一个点，那么f(x)f(x)f(x)是一条线如果xxx是一条线，那么f(x)f(x)f(x...
2020-05-05 15:34:13
1106
原创 机器学习中的函数间隔和几何间隔
目录一、函数间隔二、几何间隔三、函数间隔和几何间隔的关系一、函数间隔函数间隔一般来说， 一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面w⋅x+b=0w\cdot x+b=0w⋅x+b=0 确定的情况下，∣w⋅x+b∣|w\cdot x+b|∣w⋅x+b∣能够相对地表示点距离超平面的远近。w⋅x+bw\cdot x+bw⋅x+b 的符号与类标记 yyy 的符号是否一致能够表示...
2020-05-05 15:22:42
2515
1
原创 Pycharm设置Python Scripts以及Live Templets的使用方法
目录Pycharm模板在创建Python文件时自动加入我们的模板如何添加Live Template（快捷命令调用）Pycharm模板在创建Python文件时自动加入我们的模板File->settings->Editor->Code Style->File and Code Templets可以看到如下界面：然后点击Python Script，在右边的编辑框中输入...
2020-05-03 17:20:45
3010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人