- 博客(59)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 simple vim config
" _" ______ _ ___| |__ __ _ _ __ _ _"|_ / _` |/ __| '_ \ / _` | '__| | | |" / / (_| | (__| | | | (_| | | | |_| |"/___\__,_|\___|_| |_|\__,_|_| \__, |" ...
2020-03-21 04:17:22
217
原创 hive各种使用
最近用到hive，这里做个笔记hive导入数据hive不支持 insert 语句，数据只能通过 load 导入1.本地导入hive> load data local inpath 'file-path' into table table-name;2.HDFS导入hive> load data inpath 'hdfs-path' into table table-nam...
2020-03-12 22:36:29
280
原创 hive-2.3.6部署
Hive 是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。Hive让对Hadoop使用SQL查询（实际上SQL后台转化为了MapReduce）成为可能，...
2020-03-11 22:16:52
368
原创 hadoop-2.10.0部署
下载hadoop我这里是下载的 hadoop-2.10,从北京理工大学开源软件镜像，官网下载你懂得…地址: http://mirror.bit.edu.cn/apache/hadoop/下载完成后解压， tar -xzvf hadoop-2.10.0.tar.gz，这里我将hadoop直接放在加目录下。 伪分布配置配置hadoop配置文件路径在 hadoop目录/etc/hadoo...
2020-03-11 19:34:57
3480
1
原创 爱心函数
(x2+y2−1)3=x2y3\left(x^{2}+y^{2}-1\right)^{3}=x^{2}y^{3}(x2+y2−1)3=x2y3
2020-03-08 16:22:26
35172
原创 Redis常用指令，知道这些就行了
Redis指令Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。linux安装 sudo apt-get install redis启动 redis-server /etc/redis.conf or systemctl start redi...
2020-03-08 02:05:46
130
转载 PCA数据降维
转载博客，添加了一些标识，稍微修改了布局便于阅读,留做笔记，原文地址放在最后了PCA (Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。数据的向量表示及降维问题一般情...
2020-03-05 01:04:18
484
原创 shell编程，加上案例相信这更好懂
shell简介shell十一个命令行解释器，为用户提供了向linux内核发送请求以便运行程序的界面系统程序，用户可以用shell来启动、挂起、停止甚至编写程序。外层应用程序shell命令解释器linux内核硬件shell脚本要求格式要求以#!/bin/bash开头，指定shell解释器; 这里指定了bash权限要求执行shell脚本，一般给脚本添加执行权限,两种增加权限方式：sud...
2020-03-04 18:38:14
227
原创 FDFS安装使用
FastDFS简介FastDFS 是用 c 语言编写的一款开源的分布式文件系统。充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成...
2020-03-03 01:36:44
975
原创 朴素贝叶斯及python案例
贝叶斯方法贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。概率概率，亦称“或然率”，它是反映随机事件出现的可能性（likelihood)大小。某事件A出现的概率，常用P(A)P(A)P(A)表示。贝叶斯原理贝叶斯原理源于英国数学贝...
2020-03-02 16:51:44
1292
原创 matplotlib画图，这里详细的介绍
首先绘制一张简单的图import matplotlib.pyplot as pltplt.plot([1,2,3,4])plt.show()绘图的结果：很容易，你只需要导入包、输入数据，然后你就可以得到你想要的图表了。但是看起来似乎十分的单调，让我们来看看下面这段代码。折线图import matplotlib.pyplot as pltimport numpy as np...
2020-03-01 21:53:31
463
原创 Celery简介、安装、使用
Celery简介和原理Celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。Celery用于生产系统每天处理数以百万计的任务。Celery是用Python编写的，但该协议可以在任何语言实现。简单来说就是你可以交给celery一些工作，它可以帮你同时的完成，而你并不需要等着。说白了就是一打工仔，但是celery一个顶很多个。Celery是...
2020-03-01 21:37:09
307
原创 python 函数仅限位置形参 `/`
在python3.8之前，python中有位置参数、默认参数、可变参数和关键字参数。在此，我们先回顾一下，下面先给出两个方法：def print_name(name): print("I am %s" % name) def sum(a, b): return a + b 在调用这两个方法时，按照参数的位置将参数给进去，这种方式就是位置参数：print_name("tom")...
2020-03-01 21:23:42
591
原创 逻辑回归及python代码实现
逻辑回归一种广义的线性回归分析模型，逻辑回归虽然带有回归字样，但是逻辑回归属于分类算法。逻辑回归可以进行多分类操作，但由逻辑回归算法本身性质决定其更常用于二分类。逻辑回归：线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判定其属于正类还是负类。所以逻辑回归就是将线性回归的结果，通过 sigmoid 函数映射到 (0,1)(0,1)(0,1) 之间。分类的本质：在空间中找到...
2020-02-28 03:00:06
11142
2
原创 线性回归及python代码实现
什么是线性回归线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y=w′x+ey = w'x+ey=w′x+e，eee为误差服从均值为0的正态分布。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是...
2020-02-26 19:52:51
23321
11
User-Agent大全(笔记)
Http Header之User-AgentUser Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问是不一...
2020-02-26 04:11:22
448
原创 控制台文件管理器-Ranger
今天给大家介绍一款特别的软件。在终端上，我们可以通过 ls 来查看文件，同过 ls 命令我们只能看到当前目录下的文件。那么有没有办法可以在终端中清晰的看到目录的层级关系，方便的查看文件呢？如果你有这样的想法或需求，那么 Ranger 绝对是你想要的。Ranger 是具有VI键绑定的控制台文件管理器。它提供了一个简约而美观的 curses 界面，并具有目录层次结构的视图。它附带了rifle（一个文...
2020-02-25 17:49:13
1577
原创 Python3.8中的海象表达式 :=
在Python3.8中新添加了赋值表达式 ：= ，由于长得与海象的眼睛和象牙很神似，它被亲切的成为“海象表达式”。它允许将键绑定到名称，然后重新用作计算相应值的一部分，官方推荐使用“海象表达式”来降低代码的复杂性和可读性。看看怎么用如果我们想要判断一个列表的长度是否大于10, 如果大于10我们就提示并打印列表长度,一般我们可以这么写：a = [0, 1, 2, 3, 4, 5, 6, 7,...
2020-02-24 01:01:25
1257
原创 正则笔记
正则基础#!/usr/bin/env# -*- coding:utf-8 -*-'''re.match(pattern,string,flags=0) 从起始位置适配，匹配失败返回Nonere.search(pattern,string,flags=0) 扫描整个字符串，并返回第一个成功的匹配re.findall(pattern,string,flags=0) 扫描...
2020-01-05 14:59:43
109
mac上pyside2缺少QtWebEngine相关的组件。
2021-03-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人