- 博客(99)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python中使用pandas中concat横向连接表时产生NaN
在使用pandas的concat横向连接两张表时，对于join字段的值（inner、outer）的选择，可以控制是否产生多余的空值。
2022-01-14 11:51:38
3691
原创 PySerial库的简单用法
import serialAPI：pySerial API — pySerial 3.4 documentation这次尝试适用PySerial库是为了从树莓派小车连接的UWB定位模块的串口中，获取与解析出串口所传输的定位信息。以下是在尝试过程中使用到的一些小代码段~希望记录下来可以帮到大家~1、查看串口列表：serial.tools.list_ports.comports()ports = serial.tools.list_ports.comports()# 寻找名字"CH340 "
2021-11-15 16:18:27
9413
1
原创 MYSQL的事务简单介绍
需求场景：有一张银行账户表，有A用户给B用户转账，A账户先减少，B账户增加，但是A操作完之后断电了解决方案：A减少钱，但是不要立即修改数据表，B收到钱之后，同时修改数据表事务安全事务：一系列要发生的连续的操作事务安全：一种保护连续操作同时满足实现的一种机制事务安全的意义：保证数据操作的完整性------创建一个账户表Create table my_accoun...
2020-03-26 13:44:26
363
原创 Python---多进程编程
多任务概念多任务是指用户在用一时间运行多个应用程序，每个应用程序被称作一个任务。当多任务操作系统使用某种任务调度策略允许两个或更多进程并发共享一个处理器时，事实上处理器在某一时刻只会给一件任务提供服务。因为任务调度机制保证不同任务之间的切换速度十分迅速，因此给人多个任务同时运行的错觉。多任务系统中有3个功能单位：任务、进程和线程。简单地说，就是操作系统可以同时运行多个任务。打个比...
2020-03-25 10:25:48
323
原创 统计学的几个常见的基本概念
一.切比雪夫定理马尔科夫不等式、切比雪夫不等式只是对概率的一个估计，有可能不是很准确，但总比瞎想要准确。马尔科夫不等式，切比雪夫不等式与年薪百万看看这个怎么去计算百万年薪的概率参见知乎：https://www.zhihu.com/people/matongxue/activities二.中心极限定理在给定任意分布的数据中随机抽取n个抽样，共抽取m组，m组的均值呈现正态分布，...
2020-01-04 16:39:46
1550
原创 什么是极大似然估计？
极大似然估计，听到这个词你会是什么想法？有没有一些疑惑？什么是极大似然估计？让我们来剖析这个词，极大似然估计这个词对于我来说，比较难懂的字是“似然”俩个字，首先来说下什么是“似然”：似然：像这个样子，其中的这个样子是来指参数的，换句话来说，就是来根据模型推出参数再换个角度来说常说的概率是指给定参数后，预测即将发生的事件的可能性。拿硬币这个例子来说，我们已知一枚均匀硬币的正反面概...
2019-12-12 12:04:37
1218
原创 RDD编程
spark对数据的核心抽象——弹性分布数据集(Resilient Distributed DataSet,简称RDD)，RDD其实就是分布式的元素集合。在spark中，对数据的所有操作不外乎创建RDD,转化已有的RDD以及调用RDD操作进行求职，而这一切的背后，spark会自动将RDD中的数据分发到集群上，并将操作并行化执行。RDD是一个不可变得分布式的对象集合，每个RDD都被分为多个分区...
2019-10-16 23:04:15
599
原创 机器学习算法篇---线性回归
机器学习从上面的图来看是属于人工智能的部分，机器学习主要分为回归，聚类，分类那么机器学习的定义是什么呢？可以参考https://www.zhihu.com/question/336275116/answer/759177861何谓 “机器学习”，学界尚未有统一的定义。但有两个定义特别值得了解：一个来自卡内基梅隆大学的Tom Mitchell教授，一个来自Goodfellow、Bengi...
2019-09-24 17:23:44
285
原创 带你了解requests库
requests库是什么呢？浏览器发送请求消息给服务器，这个过程叫做HTTP request。requests库是基于urllib库之上，采用 Apache2 Licensed 开源协议编写的，比urllib更加方便。首先是安装requests库：pip install requests其次，导入requestsimport requests接下来介绍reques...
2019-09-21 20:56:36
2724
原创 带你了解Mongodb
什么是Mongodb？MongoDB最初是由MongoDB Inc公司所开发的，当时（2007年）被命名为10gen。看到db是不是就很自然的想到了database，这一定是一个数据库相关的东东了。那么前面的Mongo呢？这源自一个英文单词Humongous：巨大的，庞大的，现在数据不就是庞大的么，哇喔那么mongodb就是庞大的数据库了，简直完美组合方式。那么这个数据库有什么...
2019-09-20 21:09:35
1232
原创 pymysql模块的使用
PyMySQL是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中是使用mysqldb安装pymysql模块：pip install pymysql连接数据库方式:方式1：con = pymysql.connect(ip,uname,pwd,dbname)方式2：con = pymysql.connect(host = "",user ...
2019-09-19 11:58:25
348
原创 爬虫urllib库小项目---爬取豆瓣读书网的海报和书籍名称并存储
url = "https://book.douban.com/latest?icn=index-latestbook-all"小项目需求：1.图书海报2.图书海报存储到本地地址小项目练练手步骤：第一步：请求页面行为，通过浏览器分析（通过谷歌浏览器分析）第二步：借助浏览器分析页面信息，获取海报信息(使用urllib和bs4库进行分析)第三步：抓取数据，...
2019-09-18 21:21:52
403
原创 爬虫-urllib模块
这库是用来请求URL的，用来获取服务器资源常用的模块如下：urllib.request 处理各种协议扩展库urllib.reponse 应答类urllib.parse 解析urllib.error 用来处理异常代码：from urllib import request # 导入request模块，可以发起请求# 首先定义URLurl = "http://ht...
2019-09-17 15:55:09
232
原创 今天需要学习爬虫了（前期准备）
爬虫？crawler,按照一定规则来爬取网络上的信息的程序或者脚本。它可不是普通的虫子哟，切记切记切记！爬虫就是获取信息的，那么你没学习之前，你会如何获取互联网信息呢？或许你会想直接找度娘，一切问题迎刃而解，是的，你这样确实可以，如果你需要网页上的数据，超链接的数据，手动去弄会很累的，爬虫就能很好的实现自动化获取信息。废话太多了，那么爬虫开始之前，我们需要做什么准备工作？你不...
2019-09-17 15:21:41
473
原创 SQL 外键条件说明
首先介绍一下什么是外键？外键用于与另外一张表的关联，保证数据的完整性。创建外键的语法是：foreign key（外键名称）references 父表举个例子：创建父表：create table my_class(id int primary Auto_increment，class varchar(20));创建子表，并用外键关联起来create table ...
2019-09-01 14:50:38
3364
原创 SQL case when讲解
case结构如下：case 列表名when 条件 then 选择项...else 选择项end例子如下：原始表是一张员工表employee，列表字段分别是名字，姓氏，职位，薪水，任职日期：现在我们要做的事情是实现如下的形式：首先考虑一下，你会怎么写这段SQL代码来实现如图所示的表呢？首先我们可以select first_name,last_name,...
2019-08-31 15:57:56
364
转载 关于sql和MySQL的语句执行顺序(必看！！！)
ql和mysql执行顺序，发现内部机制是一样的。最大区别是在别名的引用上。一、sql执行顺序(1)from(3) join(2) on(4) where(5)group by(开始使用select中的别名，后面的语句中都可以使用)(6) avg,sum....(7)having(8) select(9) distinct(10) order by从这个...
2019-08-29 22:41:10
127
原创 Excel-逻辑函数
逻辑函数：IF条件，AND,OR,NOT信息函数：ISERROR,ISERR,ISNA（判断错误的函数）ISNUMBER（判断数字的函数）,ISTEXT（判断文本的函数），N,TIF函数基本结构：三个参数IF（判断条件，条件为真输出值，条件为假输出值）如：IF函数是可以嵌套使用的，如：函数的与或非(AND,OR,NOT)AND（条件1，条件2），俩个条...
2019-08-25 20:43:42
840
原创 Excel-数组技术
什么是数组？数组在Excel中是用{}表示的，如{'False,9'},数组中的每个元素可以是逻辑值，数字，文本，错误值，不能是公式，日期，单元格引用区域。数组可以是一维或者二维的，数组又可以分类成常规数组和内存数组常规数组定义：直接数组呈现在公式中。如：内存数组当常规数组再次进行运算时产生的数组。 当两个及以上的单元格再次进行运算时产生的数组 常规数组或...
2019-08-24 21:46:00
6025
原创 数据分析的一般过程
数据分析的流程如下：数据收集->数据存取->数据清洗->数据分析->数据可视化数据收集：通过公司内部网站，第三方数据，网络爬取例如：赶集网，国家统计局等数据存取：1.半结构化的数据格式：文本和二进制格式文本格式：Json,XML,CSV等二进制格式：Excel,Pickle,NoSQL数据库（MongoDB）等2.结构化数据格...
2019-08-24 15:10:42
3764
原创 SQL—中文乱码问题
中文数据问题实质是字符集问题。计算机只识别二进制，而我们人是识别符号，需要有个桥梁连接二进制与符号，这就是字符集。如下代码：Insert into my_Database values('你好');你会发现客户端向服务器插入中文字符是不成功的，这是因为服务器默认的字符集是utf8，而中文字符集是gbk；查看所有字符集：语法：show character set;你其实可...
2019-08-21 12:32:15
3146
原创 数据库---SQL
这里想大致介绍一下SQL的基本用法。在介绍之前，想先粗略地说明一下数据库服务器的内部结构。这里以MYsql为例，服务器对象分成4层：系统(DBMS:DataBase Management System)——》数据库(DB)——》数据表(table)——》字段(field),图形如下：SQL的基本操作：CRUD（增删改查）：create,Read,update,Delete从上面...
2019-08-20 23:34:24
126
原创 Jupyter快捷键总结
命令行模式(按Esc生效)编辑快捷键F: 查找并且替换Ctrl-Shift-F: 打开命令配置Ctrl-Shift-P: 打开命令配置Enter: 进入编辑模式P: 打开命令配置Shift-Enter: 运行代码块, 选择下面的代码块Ctrl-Enter: 运行选中的代码块Alt-Enter: 运行代码块并且插入下面Y: 把代码块变成代码M: 把代码块变...
2019-08-19 18:22:25
5020
原创 自定义Jupyter工作目录
用Jupyter notebook默认打开的界面时，默认是在Home路径，会看见一大推东西，假如我们只想展示jupyter的工程目录应该怎么办？就是修改配置！配置文件在.jupyter\jupyter_notebook_config.py如果默认没有，可以手动生成，在cmd中输入以下代码：jupyter notebook --generate-config然后打开jupyter...
2019-08-19 16:33:03
540
转载 Jupyter notebooks介绍
Jupyter Notebooks 是数据科学/机器学习社区内一款非常流行的工具。Analytics Vidhya 的 Pranav Dar 近日发表了一篇上手使用 Jupyter Notebooks 的指南，从安装到基本功能进行了简洁清晰的介绍。引言应该使用哪个 IDE/环境/工具？这是人们在做数据科学项目时最常问的问题之一。可以想到，我们不乏可用的选择——从 R Studio 或 Py...
2019-08-19 15:31:54
612
原创 Excel的函数那些事儿
Excel函数了解从5个方面入手：1.Excel公式与工作表函数什么是Excel公式？公式与函数的关系又是什么？Excel中的单元格输入=，其实就是公式，比如=2+1，其实这就是一个公式那么函数呢？在单元格中输入=SUM（1,2,3）,其实这就是一个公式，也是一个函数因此公式是包含函数的，他们之间是包含的关系2.公式的编写和填充技巧：公式的编写（单元格、编辑栏） 填充技...
2019-08-19 10:56:18
226
原创 Excel的条件格式
条件格式的基本操作：新建规则：预置规则，自定义规则 清除规则：清除所选单元格的规则 清除整个工作表地规则 清除此表的规则 清除此数据透视表的规则 管理规则：新建规则 编辑规则 删除规则 规则的优先级设置 条件格式的新规则：色阶：格式样式 类型 最低值 数字 百分比 公式 百分点值： 数据条：填充和边框设置 类型 负值和坐标轴 图标：等级设置 类型 自定...
2019-08-18 16:56:33
374
原创 数据分列和快速填充
数据分列（数据的拆分方式）：1.按分隔符号：在拆分数据时，按指定的标志性符号进行分割2.按照固定长度：在拆分数据时，按指定的字符宽度进行分隔3.分列的其他功能（数据，日期和文本的互相转换，分列的计算功能）4.普通填充：1.复制填充2.序列填充3.格式填充4.快速填充：快捷键：ctrl+E...
2019-08-17 16:05:50
748
原创 Excel的检验数据的标准（数据验证-数据的有效性）
工作中往往会涉及到很多数据的处理，有些时候需要验证数据是否符合某个标准，比如学生的成绩，Excel中很好的给我们提供了检验数据的标准。Excel的数据验证可以是数据类型：整数，小数 日期 文本长度 序列：手工录入法，单元格引用法，定义名称法 ，公式法，呈现的结果如下： 自定义：会涉及到公式，这个会后续文章讲解Excel数据无效性的验证：数据验证之圈释无效数据 自...
2019-08-16 11:44:48
2615
原创 Excel中的排序和筛选
日常工作中处理数据会涉及到数据的排序和筛选问题，我们可以通过Excel完成数据的排序和筛选Excel的排序：Excel中的排序方式分成6种：按数字大小排序：数字排序和文本排序 按方法顺序排序 ：字母排序和笔画排序 按字符个数排序：添加辅助列，对辅助列进行排序 按方向进行排序 ：行或者列进行排序 按多关键字排序 自定义排序：添加自定义序列进行排序（如何添加自定义序...
2019-08-14 17:55:12
1803
原创 EXcel中查找，替换，定位
Excel中查找和替换：查找和替换快捷键：ctrl+F，或者在开始菜单栏下的查找和选择中打开如下界面查找选项：范围：可以在工作表中或者整个工作簿中查找 搜索 ：可以按照行或者列进行搜索 查询范围 公式：公式中有查找的值，常量值（公式中的结果值不能算） 值：结果值 批注：批注中的值 区分大小写 区分全/半角查找涉及到的通配符：什么叫通配符？通用配对的符号。主要包括3个...
2019-08-14 11:27:53
1322
原创 数据库基础
1.什么是数据库？数据库：从名称来看，数据+库，意味着这是一个存储数据的仓库难道仅仅是这么简单？换句话来说，数据库是一个高效存储和处理数据的介质2.数据库的分类数据库分成俩类：关系型（SQL：Structured Query Language）和非关系型(NoSQL:Not Only SQL)3.数据库的门户：大型：Oracle，DB2（IBM DB2 是美国I...
2019-08-14 10:26:04
125
转载 如何通俗理解泊松分布？
1 甜在心馒头店公司楼下有家馒头店：每天早上六点到十点营业，生意挺好，就是发愁一个事情，应该准备多少个馒头才能既不浪费又能充分供应？老板统计了一周每日卖出的馒头（为了方便计算和讲解，缩小了数据）：均值为：按道理讲均值是不错的选择（参见如何理解最小二乘法？），但是如果每天准备5个馒头的话，从统计表来看，至少有两天不够卖，的时间不够卖：你“甜在心馒头店”又不是...
2019-06-04 15:49:40
1109
转载 静态库和动态库的区别
什么是库 库是写好的，现有的，成熟的，可以复用的代码。现实中每个程序都要依赖很多基础的底层库，不可能每个人的代码都从零开始，因此库的存在意义非同寻常。 本质上来说，库是一种可执行代码的二进制形式，可以被操作系统载入内存执行。库有两种：静态库（.a、.lib）和动态库（.so、.dll）。 所谓静态、动态是指链接。回顾一下，将一个程序编译成可执行程序的步骤： ...
2019-03-25 22:17:32
653
翻译 DM-RS 概述
DMRS（demodulation reference signal）解调参考信号，用于接收端（基站侧或者UE侧）进行信道估计，来用于物理信道的解调在LTE与解调相关的参考信号：上行方向：1.对pusch/pucch,基站侧使用DMRS下行方向：1.对PBCH/PDCCH/PCFICH/PHICH物理信道，UE使用CRS(cell reference signal)2.对P...
2019-03-24 21:40:56
11816
转载 Python单元测试框架——unittest
一、Pyhon工作原理—— 核心概念：test case, testsuite, TestLoder,TextTestRunner,TextTestResult, test fixtureTestCase（测试用例）:所有测试用例的基类，它是软件 测试中最基本的组成单元。 一个test case就是一个测试用例，是一个完整的测试流程，包括测试前环境的搭...
2019-03-15 22:42:08
189
转载 无线信道描述
无线信道，可能由于大楼，行人，来往的车辆等产生复杂的散射和丰富的反射，这时候发端会发送一个电磁波形，我们不可能用一个精确的数学式子来表示接收端的波形是什么样子。其实不管你怎么设计，采用什么样的调制方式，复杂思想，其实数据的解调都可以认为是接收端采样得到的采样点为基础的，因此我们一般需要知道采样点经过信道大概发生了什么样的变化，对通信有用的特征量怎么变化，例如最重要的功率等，为了描述这个，我们需要引...
2019-03-14 21:52:24
913
原创 NR CSI报告简介
NR:New Radio 新无线空口 CSI：Channel State Information 信道状态信息所以标题的意思就是说无线空口的信道状态信息报告简介。NR中UE(user equipment)侧报告CSI 的总体流程报告3步：1.基站侧根据配置来发送CSI RS参考信号。（后续会介绍）2.UE对CSI RS进行测量（包括信道测量，干扰测量），一些测量量比如SNR,RS...
2019-03-06 22:58:23
12211
原创 Python——正则表达式
什么是正则表达式？其实就是记录文本规则的代码，特殊的字符序列，普通字符和元字符组合的。学习正则表达式其实就是对元字符的学习。python当中有个特定的库称为RE就是用来正则表达式。常用的元字符有哪些呢？ 一.：匹配除换行符以外的字符\w :匹配字母或数字或汉字或下划线\s:匹配任意的空白符\d:匹配数字\b:匹配单词的开始或者结束。^:匹配字符串的开始。...
2018-12-14 20:55:33
237
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人