数据科学家成长之路
之芫
记录一下路上的坑和用到的东西,有时候遗忘的时候翻出来自己看看,同时也分享给忘了的朋友看看。
个人网站:https://www.msezi.com/
展开
-
NumPy入门(1)_数据类型
查看版本import numpynumpy.__version__'1.14.2'time: 10.3 ms大多数人都习惯使用np左右别名导入NumPy 例如:import numpy as nptime: 834 µsPython的数据类型Python的数据类型是动态推断的,这是我认为比C语言灵活的地方。 例如:x = 4x = "four"列表L = lis...原创 2018-12-27 17:36:15 · 296 阅读 · 0 评论 -
给集群配置SSH配置免密登录
假设机子之间可以通过ssh输入密码互通,不可以的先安装ssh,大部分的linux都会自带。生成公钥ssh-keygen -t rsa进入ssh目录cd ~/.ssh/把公钥放到一个新的文件cat id_rsa.pub > authorized_keys然后scp到另一台主机上scp authorized_keys slave1:~/.ssh/然后把另一台主机的公钥放...原创 2019-04-17 15:31:18 · 992 阅读 · 0 评论 -
完整部署北大天网搜索引擎TSE
最近在学习《搜索引擎——原理、技术与系统》这本书,书虽然有点年代感,但是技术永远不会过时。所以就来搭建一个自己的搜索引擎,下载源码,然后来学习,这里博客作笔记使用,同时也希望和更多的人一起讨论分享。我这里主要的参考博客是一位大佬在13年写的博客专栏里面的博客,为什么我也要重复写呢,因为时间隔太远了,有很多的技术更新,需要用到很多的新技术,所以我就把自己的学习笔记分享一下。大佬的专栏地址在这,有兴...原创 2019-04-10 03:32:10 · 2775 阅读 · 2 评论 -
iptables v1.6.1: can't initialize iptables table `filter': Permission denied (you must be root)
在docker中的容器我不知到为什么会这样,在虚拟机ubuntu的时候没出现这个问题,换到物理ubuntu上就这样了ERROR: problem running iptables: iptables v1.6.1: can't initialize iptables table `filter': Permission denied (you must be root)Perhaps ipt...原创 2019-03-13 00:16:56 · 21049 阅读 · 0 评论 -
Ubuntu18.04 + Docker搭建全分布式Spark集群
文章目录所需软件配置第一个基础环境容器启动第一个容器在容器中安装ssh配置ssh启动容器是自启动配置SSH登录配置JAVA环境安装配置环境变量环境永久生效验证成功配置Hadoop配置Hadoop的环境变量配置hadoop-env.sh文件配置Hadoop文件配置Zookeeper安装SCALA安装SPARK配置SPARK启动集群启动Zookeeper格式化`HDFS`和格式化`ZK`启动HDFS启...原创 2019-03-07 21:21:21 · 1698 阅读 · 0 评论 -
又是一个坑:Reading package lists... Done Building dependency
我是在Docker的Ubuntu容器上出现的问题一般apt-get出现这种情况:Reading package lists... DoneBuilding dependency tree Reading state information... DoneE: Unable to locate package ****就是没有更新APT库更新一下就好了sudo apt-...原创 2019-02-27 17:26:49 · 72548 阅读 · 11 评论 -
ubuntu18.04 安装Docker CE
moby、docker-ce与docker-ee最早的时候docker就是一个开源项目,主要由docker公司维护。2017年年初,docker公司将原先的docker项目改名为moby,并创建了docker-ce和docker-ee。这三者的关系是:moby是继承了原先的docker的项目,是社区维护的的开源项目,谁都可以在moby的基础打造自己的容器产品docker-ce是doc...原创 2019-02-22 22:05:13 · 921 阅读 · 0 评论 -
记录一个坑:ValueError: Colormap spectral is not recognized.
我按照书上的代码敲上去是这样的。ValueError Traceback (most recent call last)<ipython-input-16-306c0fd67636> in <module>----> 1 plt.scatter(cmap=plt.cm.get_cmap('spect...原创 2019-01-24 21:59:06 · 4395 阅读 · 7 评论 -
NumPy入门(5)_结构化数组
文章目录常规操作使用复合数据结构的结构化数组生成结构化数组Numpy的数据类型常规操作name = ['Alice', 'Bob', 'Cathy', 'Doug']age = [25, 45, 37, 19]weight = [55.0, 85.5, 68.0, 61.5]x = np.zeros(4, dtype=int)使用复合数据结构的结构化数组data = np.zero...原创 2019-01-04 17:43:06 · 458 阅读 · 0 评论 -
NumPy入门(4)_广播_布尔掩码_排序等
import numpy as npa = np.array([0, 1, 2])b = np.array([5, 5, 5])a + barray([5, 6, 7])a + 5array([5, 6, 7])M = np.ones((3, 3))print(M)[[1. 1. 1.] [1. 1. 1.] [1. 1. 1.]]M + aarray([[...原创 2019-01-04 17:34:12 · 565 阅读 · 0 评论 -
NumPy入门(3)_通用函数
文章目录慢循环通用函数介绍探索通用函数数组的计算绝对值三角函数指数和对数函数专用的通用函数高级的通用函数特性聚合外积最小值、最大值和其他值最大值最小值多维度聚合通用函数NumPy数组的计算有时候很快有时候很慢,利用向量化是使其变快的关键,通常是通过其通用函数(usunc)中实现的慢循环import numpy as npnp.random.seed(0)def compute_rec...原创 2019-01-04 14:46:17 · 1456 阅读 · 0 评论 -
NumPy入门(2)_数组基础
先介绍几类基本的数组操作数组的属性确定数组的大小、形状、存储大小,数据类型数据的索引获取和设置组各个元素的值数组的切分在大的数组中获取或设置更小的子数组。数组的变形改变给定数组的形状。数组的拼接和分裂将多个数组合并为一个,以及讲一个数组分裂成多个NumPy数组的属性先介绍一些有用的数组,定义三个随机的数组:一个一维数组、一个二维数组和一个三维数组。将用NumPy的随机生...原创 2019-01-04 13:46:34 · 355 阅读 · 0 评论 -
各Liunx安装cockpit
Fedora安装sudo dnf install cockpit开启cockpit:sudo systemctl enable --now cockpit.socket加入防火墙策略sudo firewall-cmd --add-service=cockpitsudo firewall-cmd --add-service=cockpit --permanentRed Hat ...原创 2019-05-16 10:43:54 · 2636 阅读 · 0 评论