xiongpai1971的博客

覃雄派陈跃国Hadoop与Spark入门清华大学出版社, 2023。

深度学习技术的进步和突破，带动了人工智能领域重新焕发青春活力。利用人工智能为各行各业赋能，成为时代的主题。在我们面前展开了各种可能性，让有志者胸怀激荡，跃跃欲试。 从2013年开始，编者在中国人民大学为全校开设通识课《金融大数据分析与量化交易》。该门课程讨论如何利用成熟的人工智能、统计分析技术给交易赋能，实现交易的自动化和智能化。 在教学过程中，编者参考了现有的教材和大量其他资料，不断丰富讲义，经过整理，形成本书。 本书是为量化交易爱好者编写的一本入门书...

有数据学这么一种说法，什么是数据学呢？特别是现在大家都在谈、都在接受数据科学的时代，数据学到底是数据科学，还是另外一个东西。如果数据学就是数据科学，何必呢？数据科学大家觉得朗朗上口，搞个新的名词没有必要？如果是不同于数据科学的、所谓的研究数据空间的基本规律性的科学，感觉走上了玄学，进而走入穷途末路。关于数据学，学界的广大学者、教育部、各个大学等，信还是不信，接受还是不接受？建设数据学专...

教育部公布第四批“数据科学与大数据技术”新专业获批名单http://www.tipdm.org/bdrace/news/20190328/1561.html教育部：浙江大学等35所高校新增人工智能本科专业https://baijiahao.baidu.com/s?id=1629507300833793056&wfr=spider&for=pc20...

(01)《Hadoop/Spark原理、部署、与开发入门》(v2018.09.01)(02)hdfs_shell(03)hdfs_java[coming soon](04)mapreduce_java(05)hbase_shell(06)hbase_java[coming soon](07)hive_shell(08)hive_hiveserver2_be...

(01)量化交易简介(02)股票基础知识(03)期货基础知识(04)基本面分析及PDF(05)技术分析及PDF(06)机器学习与数据挖掘基础知识(07)Python基础知识及实例(08)机器学习库scikit-learn及实例(09)交易模型简介[see below](09.1)分类模型及其应用[see below](09...

《数据科学概论》的学习路线图(Learning Road Map)

备注：资源短时间内下载数量过多，网站会限制下载(下载失败)，过一段时间再下载即可。一、数据科学概论二、OLTP与数据服务 SQL快速入门 并发控制三、OLAP与结构化数据分析四、数据清洗与数据集成 编辑距离五、数据的深度分析 Play EMexcel [New Version]...

备注：仅用于检验python语言的学习效果，面向数据分析和处理，做编程练习。整个数据科学概论的教学大纲（包括其他上机练习），请参考https://blog.csdn.net/xiongpai1971/article/details/89364071Python与机器学习初步1，（决策树-易）通过信息增益，进行决策树第一个特征选择，请参考5.2.1。 备注：使用课...

1，Volume实验 要求：在助教协助下，利用云平台进行Word Count MapReduce实验(或者Sort/Inverted Index等)。目的：对大数据的分布式处理有更加直观认识。提示：助教撰写实验指导。1，助教准备一个大文本文件1GB。2，启动Hadoop，把文件上传HDFS，运行Word Count MapReduce程序，打印结果并且分析，获得Top...

数据科学具有跨学科的特点。数据科学包含什么内容，如何构建其内容体系，众说纷纭。公说公有理，婆说婆有理，场面一时纷纷嚷嚷。 本文的主要观点是，数据科学一定离不开计算机。换句话说，没有计算机的数据科学，可能是假的数据科学。 有些“数据科学”课程，其核心内容是统计分析和数学建模。在数据科学概念正式提出来之前，这样的课程，也有，也能够叫出名字。无他，就是统计分析或者数学建模。现...

数据治理是一个国际公认的概念，对应的英文是data governance。它的核心内容是利用政策、人员、技术手段，基于主数据管理、元数据管理等，对数据的质量、生命周期、安全/隐私/共享、合规性等进行管理，实现数据价值，管控数据风险。 有些人把基于数据的国家/社会治理简称为数据治理，和数据治理本源应有之义混淆起来了，这是不对的。很显然两者是有很大的不 同的，最关键的是它们的对象是不...

    2018年8月，诺贝尔奖获得者、统计学家Thomas J． Sargent在世界科技创新论坛上表示，人工智能其实就是统计学，只不过用了一个很华丽的辞藻。好多的公式都非常老，我们说所有的人工智能利用的都是统计学来解决问题。    面对统计学家自我感觉良好的幻觉，AI研究者纷纷坐不住了。    其中，阿里AI负责人、阿里巴巴达摩院机器智能技术实验室主任金榕，决定逐条批驳Sargent的...

数据科学不能等同于大数据有些人把数据科学等同于大数据，一上来，就用几个V(Volume, Velocity, Variety, Veracity)来划分和把握数据科学的内容，或者用几个V来构造数据科学的内容体系。这是很成问题的。（1）首先，数据科学是关于数据的科学，它研究数据的方方面面，所以不管是大数据还是小数据、中数据，都是数据科学应该研究的对象。（2）另外，大数据的“大”是一个相对的概...

数据科学离不开计算机(包括数据库、数据挖掘、机器学习等)，数据科学离不开统计学。这几乎已经是大家的共识了。但是在数据科学的旗帜下，如何摆放计算机、和统计学，如何融合计算机和统计学，却不是那么容易。统计学家，习惯于用模型来套数据，用模型来套世界。比如对于时间序列数据，统计学家推出了AR、MA、ARMA、ARIMA、SARIMA、ARCH、GARCH等一系列模型，也取得了巨大的成功。这些方法具有如...

时序数据和轨迹数据是重要的数据类型，在《数据科学概论》第二版中，作者将把这两章内容纳进来。预览版已经放到《数据科学概论》配套资源网站的“PPT” 一节，读者可以开始下载(非营利用途)。数据科学概论网上资源https://blog.csdn.net/xiongpai1971/article/details/89364071...

关系数据库的查询语言SQL，是一门易学易用的语言。用于对数据库进行数据的增加、删除、修改、简单查询和多维度汇总查询。学习SQL的有效方法是看别人写的实例，熟读唐诗300首，不会作诗也会吟。网址http://mail.sina.com.cn/netdisk/download.php?id=ff0a80e58fed370c629d1ac4367ce50960，给出了SQL的快速入门。...

2018年9月1日，笔者利用假期完成了该书电子版的第一次校稿，可读性、正确性提高一大截，下载网址不变，大家可以登录下述网址下载最新版本。笔者编写了一本书《Hadoop&Spark原理、运维、与开发》，电子版免费贡献出来，供大家下载。正如书名所示，该书涵盖技术原理、安装配置、基本的开发等三个方面的内容。寥寥100多页的篇幅，使得大家对大数据工具Hadoop和Spark有一个初步的认识。...

1.前言本文给出了一个简单的数据仓库模型，事实表保存销售记录，维表保存用户、时间、产品、销售人员、商店等信息，这些维表具有维度的层次结构。比如时间维度的年、月、日等。在这个数据仓库上，我们可以运行数据仓库分析查询，获得一些汇总结果，帮助我们对业务有所了解，以便安排后续的商业活动。本实例的目的是让读者对关系数据库、OLAP、事实表、维表、维度层次结构等，有进一步的认识。这些内容的原理...