Data Science
文章平均质量分 84
桥苯环萘我老婆
Information System PHD candidate,间歇性码农,前oier
Blog内容主要关注:方法论(数据科学,网络分析,统计计量),场景(信息系统,数字平台,数字经济)
展开
-
【SNA】社会网络分析四 networkx包详解(施工中
社会网络-networkx与基本图算法原创 2023-07-20 22:41:00 · 334 阅读 · 0 评论 -
【AI】浅析马尔可夫家族(MC, HMM, MDP, POMDP, MOMDP)
关于马尔科夫链和强化学习的自用小教程,待补充原创 2022-06-03 22:45:03 · 1215 阅读 · 0 评论 -
【机器学习】梯度下降、岭回归、Lasso回归等
【机器学习】梯度下降、岭回归、Lasso回归等0 简要复习线性回归(Linear Regression)线性回归模型函数:y(x)=β0+β1∗x1+β2∗x2y(x) = \beta_0+ \beta_1*x_1+ \beta_2*x_2y(x)=β0+β1∗x1+β2∗x2 或 y(x)=∑i=0nbetai∗xi=BTXy(x) = \sum_{i=0}^{n} beta_i*x_i = B^TXy(x)=∑i=0nbetai∗xi=BTX参数估计的评价机制: 损失函数(los原创 2021-11-29 21:02:54 · 1351 阅读 · 0 评论 -
【机器学习】模型过拟合解决方案(模型评估)
【机器学习】模型过拟合解决方案(模型评估)前言:本文框架参考经济学大神论文的一部分,细节部分多处参考,在此致谢,侵权必删致谢:Varian, H. R. 2014. “Big Data: New Tricks for Econometrics,” The Journal of Economic Perspectives (28:2), pp. 3-27.https://blog.csdn.net/qq_46020653/article/details/119430176背景机器学习(原创 2021-11-28 23:12:28 · 606 阅读 · 0 评论 -
pyechart 绘制地图——普通分区热力图
pyechart 绘制地图——普通分区热力图一、代码模板1、引入部分from pyecharts import options as optsfrom pyecharts.charts import Geofrom pyecharts.charts import Barfrom pyecharts.charts import Mapfrom pyecharts.charts import BMapfrom pyecharts.commons.utils import JsCode2、核心原创 2021-08-06 23:02:15 · 1583 阅读 · 0 评论 -
社会网络分析——一、目录
社会网络分析——一、目录一、工具使用1. Gephi快速入门可用,其他大佬的教程:https://blog.csdn.net/weixin_46348799/article/details/108266959完整介绍,转载:https://blog.csdn.net/weixin_44194088/article/details/1155726902. Python——Networkx官方文档:https://networkx.org/documentation/stable/index.原创 2021-04-10 17:04:41 · 360 阅读 · 0 评论 -
【SNA】社会网络分析三 图论与图学习
社会网络分析——三、图算法中间被很多人转了,我是从机器之心公众号(almosthuman2014)看到的,最初来源应该是 Maël Fabien 大佬的博客,致谢https://github.com/maelfabien/Machine_Learning_Tutorials目录:第一部分:图介绍图是什么?如何存储图?图的类型和性质Python 示例第二部分:图算法Pathfinding(寻路)Community detection(社群检测)Centrality(中心转载 2021-04-10 17:00:21 · 7201 阅读 · 3 评论 -
【SNA】社会网络分析二 Gephi 功能详解
Gephi 功能详解一、Gephi 简介Gephi 是一款网络分析领域的数据可视化处理软件,开发者对它寄予的希望是成为“数据可视化领域的 Photoshop”,可运行在 Windows、Linux 及 Mac OS 系统上。二、特点Gephi 主要有以下三大特性:由内置的快速的 OpenGL 引擎提供支持,Gephi 能够利用非常大的网络推送信封,可视化网络多大一百万个元素,所有元素都会实时运行,如布局、过滤器;简单易于安装和使用,以可视化为中心的 UI,类似 Photoshop 的图形处理转载 2021-04-10 14:01:06 · 44041 阅读 · 15 评论 -
常用计量统计方法(偏医学科研)
常用计量统计方法(偏医学科研)一、医学统计资料分类1.1 计数资料定义:计数资料是先将观察单位按某种属性或类别分成若干组,再清点各组观察单位个数所得到的资料。特质:计数资料每个观察单位之间没有量的差别,但各组之间具有质的不同,不同性质的观察单位不能归入一组。举例:临床某些检验结果用阳性或阴性反应表示,对一批某病患者检验完毕后,清点呈阳性或阴性反应的各有若干例。要调查某人群的血型分布,先按A、B、AB、O四型分组,再清点各血型组人数。处理方法:对这类资料通常是先计算 百分比或率 等相对原创 2021-03-19 11:50:38 · 2291 阅读 · 0 评论 -
Python-爬虫(三):爬虫背景的系统性整理——HTML与正则
爬虫背景的系统性整理一、简单回顾网页结构1、查看网页源代码(1)浏览器选择Chrome 谷歌:本人首选Firefox 火狐:可查看 utf-8 编码中文,并且在源代码界面已排版(2)如何呼出:方法一:右击 - 查看源代码(静态构架)方法二:F12 或 设置-开发者工具 或 右击-检查(动态构架-即能够看到渲染后信息)(3)重点关注什么:【选择】按钮,即左上角的鼠标按钮【Elements】选项卡,即 html 原文与各可直接调试的元素,按多级目录排列小应用:可以删除广原创 2021-02-12 23:21:14 · 329 阅读 · 0 评论 -
机器学习&Python-聚类
机器学习&Python-聚类一、判断聚类数目(聚为几类)参考资料:https://blog.csdn.net/xyisv/article/details/82430107(1)手肘法核心指标:SSE(sum of the squared errors,误差平方和)为 SSE=∑i=1k∑p∈Ci∣p−mi∣2SSE=\sum_{i=1}^k \sum_{p∈C_i} |p-m_i|^2SSE=∑i=1k∑p∈Ci∣p−mi∣2CiC_iCi:第i个簇;ppp:CiC_i原创 2021-01-21 21:30:15 · 316 阅读 · 0 评论 -
【Python】关于 Pandas 常用语法合集
【Python】关于 Pandas 常用语法合集仅个人常用且常忘记 不断更新中1、合并/连接 数据框df1=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a','b','c'])df2=pd.DataFrame([[2,3,4],[3,4,5]],columns=['a','b','c'])df3=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a','b','d'])'''df1 a b c0 1 2原创 2021-01-19 00:10:29 · 511 阅读 · 0 评论 -
情感分析(1)—— Word2vec词向量
情感分析(1)—— Word2vec词向量一、Word2vec需要做什么?1、NLP模型对于任何模型,都可以视为一种映射 f(x) -> y其中,如果在 NLP 中,x 可以为词语,y 可以为词语 x 的上下文词语,而映射 f 是一种判别语言的模型 language model,用于判断 (x,y) 是否能构成可行的自然语言2、Word2vec 核心Word2vec 需要...原创 2020-01-31 21:03:02 · 2222 阅读 · 0 评论 -
R语言语句总结(一):输入、数据框、统计图形
R语言数据分析常用语句一、数据的输入1、直接输入:X<-c()2、数据框方式:(1)构建数据框score<-data.frame(math1=c(),math2=c() )score<-data.frame(math1,math2,algebra,prob,stat)score<-as.data.frame(development) 读入数据转...原创 2019-12-31 19:35:36 · 952 阅读 · 0 评论 -
Python-爬虫(二):request库——爬下网页源码
Requset库——爬取源码一、安装requests法一:pip install requests法二:pycharm-File-Setting-Project Interpreter-选择解释器-加号-搜索-Install二、Requests库1、基本请求:requests.get # The easiest response = requests.get("https://ww...原创 2019-11-16 18:25:27 · 619 阅读 · 0 评论 -
Python-爬虫(一):最简单的爬虫思路
Python-爬虫(一):最简单的爬虫思路一、爬虫背景知识1、爬虫是什么2、HTTP & HTTPS详解3、网页结构4、爬虫是否违法5、浏览器的开发者工具二、简单静态网页爬取1、最最最简单的版本2、带请求头爬虫这种东西并不是一种简单的算法谨以此总结隔空打脸两年前的我一、爬虫背景知识1、爬虫是什么按照一定规则从互联网上抓取信息的程序其他详见大佬公众号的链接,【裸睡的猪】2...原创 2019-10-23 18:14:49 · 291 阅读 · 0 评论