- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 docker学习使用——docker_airflow的部署
# 离线环境下安装docker与docker_airflow1. 使用minimal-centos7虚拟机，下载17版本的docker文件，新版本docker内核不兼容yumdownloader --resolve --destdir /home/docker docker-ce-17.03.2.ce-1.el7.centos \ docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch \ ...
2020-07-31 16:52:09
947
原创 Citus简单配置方法
1、Pg与citus安装具体安装方法参考上一篇文章2.服务器配置pg_hba.conf配置如下 ：CN服务器：host all all 192.168.10.0/24 md5节点服务器：host all all 192.168.10.0/24 trustpostgresql.conf配置如下：所有服务器加入：shared_preload_libr
2020-06-02 17:59:48
847
原创 Postgresql、PostGis、Citus安装与离线环境下yum源的创建
Linux安装postgresql及基础操作:https://blog.csdn.net/ctwy291314/article/details/79900074Postgis 安装参考文档：https://www.cnblogs.com/giser-s/p/11195697.html--1.下载相关的linux rpm包此处有深坑，想要安装好POSTGIS，必须先安装依赖关系的一个yum源：yum -y install epel-release，之后，才能正确把所有的POSTGIS依赖项下.
2020-06-02 16:23:15
1055
原创 Oracle之分区交换技术
Oracle之分区交换技术需求：在数据运维过程中，数据库的01表空间容量不够，需要将数据迁移到01表空间。方法评估：1.传统的insert into delete 方式，简单但需要消耗大量的计算资源和时间2.分区交换技术 ，从指针级的层级改动数据指向，速度快但是会破坏原始数据的索引，需要重建索引实验过程：1.首先简单实验了分区交换技术，发现不熟悉导致无法成功完成实验2.为尽快完成操...
2019-10-11 10:07:29
1647
原创 吴恩达机器学习-笔记-推荐系统
问题规划：首先要认识，推荐算法是干嘛的：当用户有一些特征信息不明确时，可以根据算法预测出其不明确的特征。就比如用户对电影的评分然后我们看一下，推荐算法都有什么分类：基于内容的推荐算法：某用户浏览的信息中，有其他信息的内容、字段、特征和其类似的时候，就将该内容推荐给某用户协同过滤推荐算法：会将数据投入算法中，计算用户之间的相似性，然后某用户某特征缺失时，会将相似用户的特征填充入该用户。就是...
2019-08-30 15:03:27
189
原创 TD-LTE题库积累笔记之五
本次练习从151题开始对于实时业务，E-UTRAN和GERAN之间的系统切换时间应控制在300ms以内对于实时业务，E-UTRAN和UTRAN之间的系统切换时间应控制在300ms以内发射分级适用于没有足够多的下行信道信息情况，例如高速移动环境负载均衡多用于处理多个小区不平衡的业务量，通过均衡小区之间的业务量分配，提高无线资源的利用率，将正在进行中的会话的QoS保持在一个合理的水平，降低掉...
2019-08-28 10:59:57
393
原创 TD-LTE题库积累笔记之四
121.若在TAU过程中切换了MME pool ， 则核心网会在TAU ACCEPT 中携带新的GUTI信息给UE。多个MME会组成一个MME池，用于服务对应的TA，当用户在TA内移动时，不会更换MME pool。MME pool中的MME可以重叠覆盖，eNB可以与其中的多个MME建立S1连接，这样用户在TA间移动的时候，就可以保证经常在重叠区域移动的用户不需要频繁地更新TA信息。GUTI，全...
2019-08-16 14:51:53
497
原创 TD-LTE题库积累笔记之三
91.LTE网络扁平化，由于取消了RNC，ENB可以直接连接到MME/SGW，从而简化了网络结构，降低了网络时延92.LTE上行功率控制主要用于降低信道的路径损耗和阴影，并用于抑制小区间的干扰93.LTE上行仅支持MU-MIMO一种MIMO模式94.LTE室外同频组网下的频率规划演变成了基于SFR的ICIC95.LTE的一个典型特征是可以在频域进行信道调度和速率控制，并且可以实现同时对频域...
2019-08-15 14:25:45
412
原创 TD-LTE题库积累笔记之二
LTE系统中，无线接口包括3个层。层1：PHY层，完成编码和解码，调制和解调，多天线映射，以及其他类型的物理层应用，物理层以传输信道的形式为MAC层服务层2：PDCP层：分组数据融合层，是对IP数据包头压缩，对传输数据 进行加密和保护RLC层：无线链路控制层，负责分割/串接，重传处理，以及按照顺序传送到上层协议MAC层：媒体访问控制层，完成混合ARQ的重传以及上行与下行的调度61.从整...
2019-08-14 11:15:48
732
原创 机器学习编程练习——使用PCA和随机森林算法对鸢尾花数据进行分类
上周学习了吴恩达的降维章节，并且自学了随机森林算法。今天完成了简单的编程练习，并作一些简单的心得笔记。随机森林算法：随机森林可以简单的看作是多颗决策树的集合，最终的模型结果由这些树的众数来决定。优点：随机森林的既可以用于回归也可以用于分类任务，并且很容易查看模型的输入特征的相对重要性。随机森林算法被认为是一种非常方便且易于使用的算法，因为它是默认的超参数通常会产生一个很好的预测结果。超参数...
2019-08-13 14:28:10
4581
原创 TD-LTE题库积累笔记之一
31.速率控制的功率大于功率控制的效率。这是因为速率控制时可以满功率发送，而功率控制则没有充分利用所有的功率。32.在承载相同速率时，给边缘用户分配更多RB，覆盖不会变差33.由于LTE是多载波的宽带系统，每个用户的业务只是总带宽的一部分（以一个RB的180KHz为单位），所以单个用户获得的热噪声也不是在整个lte网上积分，而是在其占用的RB带宽上积分。34.ACK/NACK和CQI的发送将...
2019-08-13 10:53:32
785
原创 机器学习笔记——决策树算法
本次学习因时间有限，未总结笔记。暂时引用学习过的两篇博客作为记录，待以后再进行总结机器学习实战（三）——决策树[python机器学习及实践(4)]Sklearn实现决策树并用Graphviz可视化决策树...
2019-08-07 17:57:41
203
原创 机器学习编程练习——用决策树算法对鸢尾花数据进行分类
本次练习是对上次练习（使用了泰坦尼克号幸存者数据）的模仿。直接上代码import pandas as pdfrom sklearn.tree import DecisionTreeClassifierfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom sklearn.m...
2019-08-07 17:49:32
4666
1
原创 实验楼——Matplotlib二维绘图小练习
解答代码：import matplotlib.pyplot as pltimport numpy as np#创建曲线x1 = np.linspace(-np.pi, np.pi, 1000)y1_1 = np.sin(x1)y1_2 = np.cos(x1)#创建点与直线x2 = 2*np.pi/3y2_1 = np.sqrt(3)/2y2_2 = -1/2#绘制正弦曲线...
2019-08-06 09:55:14
209
原创 实验楼——Matplotlib 三维图形绘制方法
本节的学习内容比较简单，只是一些3维图形绘制的应用：其中，主要用到的模块就是mpl_toolkits.mplot3d.axes3d()，其余模块的使用主要是plt内的各种方法。1.三维点的绘制import numpy as npfrom mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as plt%matplotli...
2019-07-30 17:17:42
545
原创 实验楼——Matplotlib 二维图像绘制方法
通过本次学习，主要有如下几点收获：1.编程语言需要规范，这更有助于自身对语言的理解，也有助于代码的传播分享2.plt的常用绘图函数3.numpy的一些函数以下零散的记录一些函数的使用方法1.%matplotlib inline该代码是ipython的魔术命令，用于将之后plt的绘图指令镶嵌在页面上2.from matplotlib import pyplot as plt这就是语法...
2019-07-30 17:13:51
1249
原创 吴恩达机器学习-编程练习-ex6.2
本节练习是为了应用SVM进行非线性拟合，使用Gaussian Kernel首先load数据集并plot#----------------------------part4---------------------------##读取数据1，并将数据整理成可识别的格式path = 'C:\\Users\Huanuo\PycharmProjects\ml\ex6_svm\ex6\ex6data...
2019-07-29 16:36:41
507
原创 吴恩达机器学习-编程练习-ex6.1
本节练习是为了应用SVM算法，并灵活运用C和gamma参数首先load数据集并plot#----------------------------part1---------------------------##读取数据1，并将数据整理成可识别的格式path = 'C:\\Users\Huanuo\PycharmProjects\ml\ex6_svm\ex6\ex6data1.mat'm...
2019-07-29 16:28:15
666
原创 吴恩达机器学习-笔记-支持向量机
SVM是继logistic回归之后，andrew NG老师讲的又一个分类算法。其实吧，听下来，结合之前的课程，大致有了这样一个感觉。所谓算法，大同小异，都由如下几个部分构成：基本模型：这个一般都很简单直接，比如SVM，在二维数据集上理解，其实就是最大间距分类器，这条线上和每一点的距离最远。SVM这里，其实就是在在高阶多项式的基础上，构建了一个新的函数，就是相似度函数，又叫核函数。然后，用核函数来...
2019-07-26 17:37:54
231
原创 机器学习——聚类算法K-means
如今的聚类技术，应用较广的是划分聚类和分层聚类。**划分聚类：**初始构造n个簇，然后不断更改每个簇内的成员，最终直到每个簇的成员稳定为止。**分层聚类：**根据分层策略的不同，又分为凝聚聚类和分裂聚类。凝聚聚类，将所有的向量都视为单独的簇，然后根据他们的相似度进行合并。分裂聚类，将所有的向量视为一个簇，然后不断对他们进行分裂，例如二分kmeans。Kmeans就是基于划分聚类的算法。首先...
2019-07-24 15:41:12
476
原创 吴恩达机器学习-笔记-机器学习系统设计
机器学习系统设计这一章节包含四个小节，分别是:确定执行的优先级误差分析精确率和召回率的权衡机器学习数据确定执行的优先级在建立一个机器算法之前，先使用一个最粗的学习算法经行测试，得到一个大致的结果。这个测试的过程将会在你之后的设计中帮助你节省大量的时间。你也可以简单粗暴的选取一些特征，不必做太多降维之类的工作，来设计你的第一个机器学习算法。总而言之，不要担心你的第一个算法太简单或...
2019-07-22 18:19:34
200
原创 吴恩达机器学习-编程练习-ex2.4
可选练习在本节练习中，你可以试一下不同的学习参数lamda，看一下正则化是如何影响决策边界的。尝试如下的lamda值：lambda (0, 1, 10, 100)想一想，当你调整lamda的时候，决策边界是如何变化的？训练集的精确率是如何变化的?问题的关键在于，根据不同的lamda，计算出对应的代价函数最小值，以及对应的theta参数，然后看看他们都有怎样的变化先上源代码import...
2019-07-05 17:39:45
131
原创 吴恩达机器学习-笔记-学习曲线
在你考虑改进学习算法的时候，最好可以把学习曲线画出来，这可以帮助你判断模型是处于偏差还是方差的状态中，并告诉你继续增加样本量m，对于改进算法是否有帮助如果模型处于高偏差状态，继续增加训练集数据量m，对训练模型是没有帮助的；如果模型处于高方差状态，继续增加训练集数据量m，对于我们关注的Jcv（theta），是有很明显的下降的。对改进你的算法是有帮助的。...
2019-07-05 10:37:38
302
原创 吴恩达机器学习-编程练习-ex2.3
1.简单预测与评估模型#模型评估#预测一个45、85分的学生被录取的概率prob = sigmoid.sigmoid(np.matmul([1,45,85],theta))print('成绩为45、85的学生被录取的概率是：',prob)#评估模型准确率m2 = np.size(x,0)p = np.zeros((m2, 1))matmul = np.matmul(x, theta...
2019-07-01 14:55:47
327
原创 吴恩达机器学习-编程练习-ex2.2
1.热身训练，实现sigmoid function在开始练习实际的代价函数之前，我们先回顾一下基本的S函数：h θ (x) = g(θ^T*x)函数G就是一个S函数，这个S函数的形式是：g(z) =1/(1 + e^−z)然后我们在python中实现一下这个算法，令这个算法对单值和矩阵都生效python中实现的sigmoid函数：import numpy as npdef sig...
2019-06-27 15:15:49
722
原创 吴恩达机器学习-编程练习-ex2.1
任务1：将exdata1.txt的数据可视化以下附上python实现的代码from pylab import *import pandas as pd#导入数据path = 'ex2data1.txt'df = pd.read_csv(path)#绘制散点图n = 1024X = df.loc[df['value']==1,'x']Y = df.loc[df['value'...
2019-06-26 17:43:10
339
原创 scrapy之爬取js异步加载的数据
tips：打印字典中全部的键值：for key in dict: print(key)众所周知，厉害一点的网页现在都采取ajax异步加载的形式在网页中加载数据了。也就是说，在get了网页的html后，可能根本找不到在浏览器中看到的内容。所以，我们需要调用chrome的调试台，去找到ajax异步加载目标数据的请求，解析后进行模拟访问，拿到自己想要的数据。这里以爬取金逸电影首页的正在热...
2019-06-21 14:13:34
6067
2
原创 scrapy之创建一个具有登录功能的爬虫
今天在学习scrapy learning的过程中，实践了模拟登陆的POST请求。首先我们解析目标页面，这里选取的是51job打开登录页：https://login.51job.com/login.php?lang=c然后F12打开调试页面，输入好账号密码后点击登陆，然后查看network中的请求包。（这里51job有可能会检测帐号异地登陆，然后要求滑动滑块进行人机验证，但登录好后，帐号的登陆...
2019-06-18 17:38:48
175
转载 linux几种文件传输方式
本文记录linux系统中文件传输的多种方式，留作备忘。linux中文件传输的方式有ftp，scp，rsync，rz，sz等，但各个工具的功能又有所区别；FTP ： FTP是文件服务器，可实现文件的上传下载，存储等功能，但本文不打算介绍ftp的使用。scp： scp能够将不同主机的文件进行相互传输，使用简单方便。rz ： 用于linux与windows之间的文件上传sz ： 用于linux与...
2019-06-17 15:41:19
1925
原创 scrapy爬虫实践之抓取拉钩网招聘信息（4）
拉勾的302搞的我不心力憔悴，几乎失去了动力继续再研究拉勾爬虫…实际上，这种无力感很大程度上来源于知识结构的匮乏（尤其是基础方面）和毫无进展带来的挫败感。于是乎去读基础教程《learning scrapy》，准备从0开始跟着教材敲一遍代码。学习中，因测试需要去爬了一下51job，没想到，51job竟然没什么反爬机制，只要设置一个user-agent就可以愉快的爬爬爬，甚至都不需要设置延迟，也不会...
2019-06-17 10:03:01
476
原创 如何一键删除工作邮箱里的邮件
女票抱怨公司邮箱又满了，一封封删除的好慢，删完了还是收不到邮件（大概是没有彻底删除）…好，动手写个脚本一键删除邮件（动个屁手啊，百度一搜就出来了）好，经测试修改兼容了python3，现在把代码分享出来import poplibdef main(): uugame = poplib.POP3('mail.xxxx.com',110) uugame.user('usernam...
2019-06-17 09:47:42
2879
原创 scrapy——是否遵循爬虫规则
在scrapy的project-setting中有一项设置ROBOTSTXT_OBEY = True当设定为True时，运行爬虫，爬虫会先去首页下找robot.txt文件并解析，弄明白网站允许搜索爬虫查看的目录区域2019-06-14 16:50:22 [scrapy.core.engine] DEBUG: Crawled (404) <GET https://search.51jo...
2019-06-14 16:52:14
132
原创 今天拜访了老东家
今天终于鼓起勇气，踏进了QW的办公区，问候了JESSE和梓康，Virgo在忙，没看到圈姐。其他人则都已经各奔四方了。丹姐也是。百感交集，不知道该从何说起。然而长大就意味要接受。所以，简单的祝QW越来越好，也就够了。...
2019-06-14 16:23:54
243
原创 Oracle 表空间和数据对象
#表空间、数据库对象#创建同义词并访问create user XiaoMei identified by XiaoMei;grant connect to XiaoMei;grant resource to XiaoMei;grant create synonym to XiaoMei;#连接至XIAOMEI后CREATE SYNONYM MyEmp FOR SCOTT.EM;#删...
2019-06-12 11:26:53
364
原创 oracle 子查询和常用函数
#子查询#查询出销售部门下面的员工姓名、工作、工资#单行子查询SELECT ENAME,JOB,SAL FROM EMPWHERE DEPTNO=(SELECT DEPTNO FROM DEPT WHERE DNAME=‘SALES’)#查询出 Emp 表中比任意一个销售员(“SALESMAN”)工资低的员工姓名、工作、工资#any查询select ename,job,sal fro...
2019-06-11 16:58:04
120
原创 Oracle常用操作指令与SQL数据操作和查询
#创建用户与赋予权限(默认情况为lock)create user chenghao identified by chenghao account unlock;#授权grant connect to chenghao;grant resource to chenghao;grant dba to chenghao;//回收权限REVOKE 角色|权限 FROM 用户（角色）//修改...
2019-06-11 14:59:06
221
原创 使用python 将csv文件导入mysql
Ocacle方面，PLSQL可以利用自带的导入功能将txt格式文件导入表，但需要预先创建表结构。PLSQL导入功能还有一个好处是可以自动对齐字段，缺失的字段可以自动忽略，不会报错停止。SQL server 自带的导入工具功能十分强大，可以使用导入平面工具直接将csv或者txt文件导入至数据库中，并且可以自动创建表和表结构。而mysql方面，自带的工具是LOAD DATA 和 mysqlimpo...
2019-06-10 16:41:29
5567
2
原创 scrapy爬虫实践之抓取拉钩网招聘信息（3）
拉勾302的问题搞得我心力憔悴，目前经过各种测试，基本确认使用动态user-agent、禁用或者使用自带的cookie无法突破拉勾302的放防爬手段。将crawl_delay设置为15s也突破不掉，最多爬了15个页面就被重定向了，和之前爬取数据分析师岗位链接地址遇到的问题相同…下面总结一下之前学习的经验，踏着自己的尸体继续前进。防止被ban的官方参考：https://doc.scrapy.o...
2019-06-04 14:16:15
510
原创 MR的概念、具体含义、采集方法与应用场景
MR（Measurement Report，测量报告）是指信息在业务信道上每480ms（信令信道上470ms）发送一次数据，这些数据可用于网络评估和优化。MR测量报告由MS和BTS完成，MS执行并上报GSM小区下行电平强度、质量和TA，BTS执行并上报上行MS的接收电平强度和质量的测量。测量报告的处理通常在BSC完成（当采用BTS的预处理方式时，测量报告处理可以下移至BTS完成），提供基本的滤波...
2019-06-03 15:31:42
9495
原创 scrapy爬虫实践之抓取拉钩网招聘信息（2）
今天遇到了一个百思不得其解的问题。我用xpath获取目标网页的divs，理论上来说，应该是把这个div下的所有div存进了列表里，但是语句却是这样写的 divs = response.xpath('//*[@id="s_position_list"]/ul/li/div[1]')实际上，在这个语句中，深入到了第一个div中。但这么写确实是对的。在其中查询单独的div确实还能查询...
2019-05-31 16:59:54
296
Securecrt_40244.zip
2019-05-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人