一个追逐自我的程序员-CSDN博客

原创 python分析财务报表

前言其实这也是老师要求我们分析的一个项目，所以记录下分析的过程。财务大数据作为大数据方向的一个热门方向，如果能学好，对于我们的今后工作是会有很大帮助的，同时目前市场人才需求也是很大的。实验目的利用python构建财务报表，并进行一些财务分析。实验过程利用python爬虫爬取A股数据报表这一步是同学做的，写的还不错，实验步骤参考如下链接：Requests...

2018-03-25 18:17:58 56088 10

转载简单提升pandas技巧：如何降低内存占用率

前言pandas是一个Python软件库，可用于数据分析和操作。本文记录实现一些降低内存占用的简单方法。当使用pandas操作小规模数据（低于100MB）时，性能一般不是问题。而当面对更大规模的数据（100MB到GB）时，性能问题会导致运行时间变得更长，甚至有可能因为内存问题导致运行失败。比如前段时间我用pandas读取数千张表，使用python自带读取方法明显比pandas快很多。尽...

2018-03-18 21:30:23 6317 1

原创 PyTorch入门(二)

AutoGrad 模块 Tensorflow等深度学习框架都是使用的静态计算图，开发者必须建立或定义一个神经网络，并重复使用相同的结构来执行模型训练。改变网络的模式就意味着我们必须从头开始设计并定义相关的模块。但 PyTorch 使用的技术为自动微分（automatic differentiation）。在这种机制下，系统会有一个 Recorder 来记录我们执行的运算，然后再反向计算对应...

2018-02-28 20:25:37 443

前言PyTorch 是一个有潜力能改变深度学习实现面貌的 Python 库，它的使用非常灵活与轻松。在本文中，我们将以更实用的方式探索 PyTorch，包括基础知识和案例研究等。此外，本文还将比较使用 NumPy 和 PyTorch 从头构建神经网络的方式，以了解它们在实现中的相似之处。 PyTorch 是一个基于 Python 的库，旨在为深度学习提供一个灵活的开发平台。PyTorch 的...

2018-02-28 19:49:38 500

原创游戏中实时的天气模拟和渲染

游戏中个人感觉天气系统是比较工程性的东西，以前只有3A级端游才有一些实时天气系统，这里给大家看看育碧《全境封锁》一组视频视频可以看到真正的动态天气会涉及到游戏的很多方面，眼睛可以看到的比如说天空、光照、雾、雨、雪等一些光照射一些物体上的高光、漫反射、法线等，渲染的效果还不能差。再说说最近比较火热的吃鸡游戏，虽然比起3A级游戏没法比，但是这些手游能在手机上内存以及显卡等资源有限的情况下，能完...

2018-02-20 18:19:32 2056

原创 GAN入门介绍

生成对抗网咯（GAN）是一类在无监督学习中使用的神经网络，其有助于解决按文本生成图像、提高图片分辨率、药物匹配、检索特定模式的图片等任务。生成对抗网络由lan Goodfellow 于2014年提出，最近几年非常热门，但是由于其存在训练困难、生成器与判别器的loss无法指示训练进程、生成样本缺乏多样性等问题，仍在需要研究解决，虽然已经有一些变体，这篇文章只写写初步理论，感兴趣可以点这里：谷歌...

2018-02-09 20:54:39 1293

原创互联网行业热点-持续更新

Amazon Go无人商店正式对公众开放（2018.1.21)原文链接：这里张小龙称今年微信公众号将推出独立app，届时用户将可以在手机上对公众号进行管理和编辑，而且赞赏功能将回归。（2018微信公开课）Python 2.7即将停止支持(目前，Python 科学栈中的所有主要项目都同时支持 Python 3.x 和 Python 2.7，不过，这种情况很快即将结束。去年 11 月，Numpy

2018-01-30 12:23:39 540

原创杂谈四-再见2017

其实本该2018年1月1号写的，但是今天来写好像也不为失时机，因为明天就回家了也是很开心的。纵观2017有遗憾、有欢乐、也有完成任务时的成就，希望下个学期我会变得更好一点。就像前几天看的《无问西东》中一样，当我们提前知道我们的人生，我们是否还有勇气来面对？我想回答很简单，试试吧。电影中几个主人公在面临选择时，是追随自己的内心？还是像大众一样，随波逐流？很多事并不会等你准备好了来做，很多事都需要你先

2018-01-19 21:56:12 323

原创五层因特网协议栈

PDU协议数据单元路由选择协议RIP（Routing Information Protocal）的优缺点： 1.RIP最早基于距离向量算法 2.RIP最大跳数是15跳，只适合小型网络，交换路由是整张表交换 3.RIP1不携带子网掩码信息，RIP2携带OSPF（Open shortest path Protocal） 1.OSPF基于链路状态路由算法

2018-01-14 22:45:06 1519

原创卷积神经网络初探

前言深度学习在计算机视觉上有很大突破，经典的数据集也有很多，比如：ImageNet（李飞飞带领团队收集）、CIFAR、COCO（微软赞助）、Open Image（谷歌开源的），而卷积的概念不是深度学习出现才有的，而是计算机图形学中早就有的概念，我认为它能够提取图像有用的信息。其实这里面的东西还是比较复杂的，这一篇算是稍微开个头吧。 MNIST作为入门案例，我们继续以它作为实践例子来实践深度学

2018-01-07 19:47:55 337

原创初探深度学习

前言有段时间没更新博客了，主要是很久没有学习新的知识，所以也没什可写的了，所以借着17年的尾巴，更新一篇，希望2018年，大家能开心，没有遗憾。其实在学完了这么多算法后，我有个感触，在如何把这些算法应用到现实生活中是我们所需要学习的一大难点。什么算法适合你的模型？一般情况下，算法都不会直接能拟合你的数据的很好，那么又怎么让你的数据适合你的算法呢？书上举的例子能拟合的那么好，一般都是经过很多年的实践，

2017-12-31 17:53:04 488

原创朴素贝叶斯分类--R语言应用

前面我们曾经讲解过朴素贝叶斯算法原理，以及python的代码实现。原理可以参考这里。这里我们就用R包来应用朴素贝叶斯来解决手机垃圾短信过滤，其实与垃圾邮件分类的原理差不多，这里我们就熟悉熟悉怎么在R里面运用朴素贝叶斯。数据集准备数据数据导入data <- read.xlsx("C:\\Users\\user\\Desktop\\sms_spam.xlsx",sheetIndex = 1) 可

2017-12-17 22:02:23 2264

原创 R数据结构

向量向量存储一组有序的值，，可以包含任意数量的元素，但是必须是一样的元素。例如：subject_name <- c("Jonh","Jane Doe","Steve")#字符型向量temperature <- c(98.1,98.6,101.4)#浮点型向量temperature[2:3][1]98.6 101.4temperature[-2]#负号可以把该项排除在外[1]98.

2017-12-10 23:30:14 267

原创 Hadoop大数据处理技术综合实验

实验任务这篇博客是我们一个学期作业，记录在这里，只是方便我写作和一些解决过程的记录。具体实验步骤参考：http://dblab.xmu.edu.cn/post/7499/ 任务如下：本地数据集上传到数据仓库Hive；Hive数据分析Hive、MySql、HBase数据互导；利用Python/R进行数据可视化分析；利用Apriori基于关联规则的购物篮分析。本地数据集上传到数据仓库Hiv

2017-12-08 11:58:23 10728 5

原创利用selenium爬取Axaj和动态网页

前言我们知道python爬虫，一般小爬虫requests+beautifulSoup，分布式爬虫用Scrapy，我们一般用requests来的方便，但是有的时候你会发现有些网页信息（比如用户评论），用requests是无法获取的，这些javascript管理的动态内容怎样提取？这就引入我们今天的主角selenium。 AJAX即“Asynchronous Javascript And XML”

2017-12-04 09:09:17 2573 4

原创 AdaBoost算法分类

前言在我们学习AdaBoost算法之前我们可以先来了解一下起源，增加一下学习兴趣。 boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的，当然也会探讨针对可学习的问题的具体的学习算法。这套理论是由Valiant提出来的，也因此（还有其他贡献哈）他获得了2010年的图灵奖。同时 ,Valiant和 Kearns首

2017-11-26 21:38:16 840

原创杂谈（三）

终于约上考试了，我感觉有点晚，但是总归是约上了。最近南昌的天气也是极其恶劣，在冷风下练车被风吹成傻逼了。另外最近在玩一款手游（荒野行？），也是不得感叹国内大厂手游发展的迅速，一改以前那种靠着渣渣的玩法和画质来圈钱的印象，也不禁感叹网*的强大，借着测试之名玩游戏，我也是够了~0.0~。来说说本周学的一些零散有用的小东西吧。Tensorflow游乐场（这个作为网页版TensorFlow测试器，可以

2017-11-19 21:58:57 347

原创支持向量机-SVM

前言这个周末没去练车，感觉现在继续练下去也提高不大了，只会浪费时间，但是教练就是不让约考，只能继续等下去了。继续回来研究我的算法，害怕太久不学习，脑子会变得一片空白。支持向量机算是目前我见过机器学习算法最难理解之一了吧（虽然没见过多少算法0.0），看了挺久的，到现在也是半懂不懂，特别是数学公式的推导，我就不花费过多时间在上面了，毕竟我们还是注重应用为主。先给出一些博客，我也是边看这些博客，慢

2017-11-12 12:32:36 384

原创杂谈二

由于这周一有空基本上跑去练车车了0.0（练车是真的耗时间，后悔没早点考），所以没有花一些时间专门去研究什么，本来是打算更新机器学习算法的，后来发现svm算法有点难，虽然看了一些，但是还是有点似懂非懂，数学功底要求有点高啊。贴上一篇博文：理解SVM的三层境界。另外感谢同学分享的一些有用的东西：screenToGif可以做一些gif动态图（曾经在unity里面做的简陋的火焰特效0.0） sciki

2017-11-05 19:21:35 232

原创 Logistic回归算法

前言关于Logistic的重要性，不言而喻，网上也有许多关于Logistic的资料，这篇文章我就写写我自己在看了机器学习实战后，对于Logistic的理解吧。首先我们要知道Logistic能干什么？作为我们学习的第一个回归算法，它根据现有的数据对分类边界建立回归公式，以此进行分类。我们的目的就是找到那根最佳拟合直线。也就是我们能把数据分成两类，那么我们可以把这应用在一些数值的分类问题上，比如怎么判断

2017-10-27 11:22:08 2462

原创 python爬取CSDN博客并用WordCloud词云分析

前言这周就不写机器学习算法了，下周再更新Logistic分类算法吧，这个算法算是机器学习比较重要的算法了，里面还有关于梯度下降的应用。这周我们来玩点有趣的东西——爬虫。爬虫也是最近不知不觉就火起来了，关于爬取网页内容的方法也挺多的比如：用python爬取网页内容，一般是requests库+BeautifulSoup4库结合使用。R语言爬虫 rvest包+magrittr包+xml2包，感

2017-10-19 16:02:47 1060

原创基于概率论的分类方法：朴素贝叶斯

算法描述进过几周的学习，我目前基本上完成了一周一个机器学习的算法任务，后面还要继续坚持下去。学习这些算法时，其中会遇到一些问题，但通过动手实践实践仿佛又理解的更深刻了一些。希望学习好算法之后，能做一些项目，这大概就是我学习算法的目的了吧。好了，废话不讲，这次算法名字朴素贝叶斯，作为贝叶斯决策理论的一部分，所以有必要知道贝叶斯决策是啥？《机器学习实战》中讲就是用数据的统计参数描述两类数据，用p1（

2017-10-15 14:56:42 722

原创《数学之美》观后感

最先看过吴军这个名字是在他的一本《智能时代》书中，当时好奇就去百度了一下（吴军，原腾讯副总裁。吴军博士是当前Google中日韩文搜索算法的主要设计者。著有《数学之美》、《浪潮之巅》和《文明之光》。 2012年6月15日，吴军发出微博，暗示已经从腾讯离职），初看他的书，会给你视野开阔的感觉，《智能时代》这本书我没有看完，但看了大部分，其中传达给我印象深刻的思想是世界是不确定的，相对于确定的机械思维，

2017-10-14 15:57:48 1235

原创决策树----ID3

由于这周国庆假期，所以学习就停了一段时间，毕竟放松放松也是挺好的，决策树是放假前看了一点，还没看完，所以先记记所看的内容。还是继续机器学习实战的学习，相比较k-近邻算法而言，决策树能解决一些非数值的特征值分类问题，当然也能解决数值的特征值分类，这里我们所用的算法是ID3，ID3算法无法直接处理数值型数据，后面将学习CART（分类回归树）算法，则可以解决这个问题。那我们就提出问题了，一些数据的“

2017-10-08 21:21:16 575

原创 k-近邻算法

这篇文章算是机器学习算法文章的开头篇，k-近邻算法个人觉得比较有效而且简单，这一系列的学习我感觉将会很有趣，因为这些算法能直接被用来解决一些实际的问题，把一些枯燥的数学算法用来解决问题，我也认为这是最好的学习方法。本系列文章结合机器学习实战学习做的一些学习笔记。 k-近邻算法简单说就是采用测量不同特征值之间的距离方法进行分类，这是机器学习实战所写的，我觉得不够完整，首先特征值必须是数值类型，否则欧

2017-10-01 13:53:16 708

原创杂谈

这个星期也没有专门进行一些问题的研究，这篇文章算是记录一些学习过程中的小问题以及一些学习笔记。虚拟机连接eclipse运行第一个hadoop程序这里有篇教程Windows环境下采用eclipse连接虚拟机中的伪分布式集群在安装过程中我遇到几个问题，开始由于core-site.xml等文件修改出现一些小错误，导致格式化失败。后来又因为localhost中 192.168.237.147 lo

2017-09-24 16:52:45 407

原创用python分析四大名著（一）

项目起因及意义起初在浏览知乎时看见一篇文章觉得很有意思（用Python分析《红楼梦》），此文章较长，题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写，虽然题主贴上了部分实现的截图，我就想试着来实现一遍，但由于目前能力有限，一些机器学习算法不够了解，加上python又是刚刚学，所以我打算先结合《Python语言程序设计基础》这本书上的例子—-《三国演义》人物出场统计来作为此系列博客第

2017-09-16 09:58:42 12582 7

原创用R语言计算班级各门课程的加权平均分

## 用R语言计算班级的加权平均分 ##好久没有写博客了，曾经还说坚持写博客，后来因为各种事就忘了，暑假也没坚持写，由于加了大数据班，加上参加了一个活动，以后必须就一周写一篇，而且内容应该也是与大数据内容相关。今天正好同学叫我帮他统计班上的成绩，并计算加权平均分，一百多个学生15门课，一个excel文件，由于知道Excel中可以输入公式可以计算，但由于不怎么熟悉且好像比较麻烦，就想着帮

2017-09-07 22:26:49 7017

原创一个自制的小游戏

很久没写博客了，来分享一个自己结合Orange老师讲的自己做了个Doodle jump小游戏，陆陆续续每天花的时间不一，几乎茶余饭后做一个，算是一个比较完整的Unity的demo，下面我会给出资源链接，里面包含了许多小的知识点，基本上百度都能找到，但是也有一些需要自己慢慢琢磨才能做出来，其中比如一些物体之间的碰撞，安卓平台的发布，手机重力感应控制物体移动，其中也有许多卡了很久的知识点，但是过几天

2017-06-03 16:58:43 837

原创 WebGL利用Three.js库写凹凸纹理

又是很久没更新，我不敢说是因为其它事，但是自己变懒了这个不可否认，做技术的如果做不出成果，一直潜心研究的人恐怕很少吧，好了废话不多说。 Three.js库作为webgl封装好的一个库，极大便利了webgl的开发，否则我们画一个立方体都要由12个三角形组成，当然我们也必须得懂webgl底层的东西，这些是我们进一步学习的基础，最近几天刚接触three库，被它所能实现的功能震撼到了，个人感觉它带

2017-04-21 09:48:13 1233

原创 WebGL通过鼠标点击绘点

现在我们在Canvas上面通过点击点来绘制点，依旧是在2d模式下，学过html和Javascript的肯定知道这需要注册事件响应函数，下面给大家看看运行结果：也就是在鼠标点击位置会生成点（小红色正方形），接下来代码如下： Draw a point with a mouse click Please use a browser

2017-03-24 00:16:21 1366

原创 WebGL首篇

又是好多天没有更新博客了，不是我在偷懒，而是最近在忙着软件工程导论的项目，我们组选择做一个小游戏项目---超级玛丽3D。由于我们小组人员对做游戏不熟，所以基本上就是我一个人边自学边做，不知道这个学期最后能不能完成，但是我还是尽我最大的努力去做好这件事，毕竟这是我大学的第一个项目。但是在做的同时，我还得必须抽点时间背背英语，以及接下来所要自学的一个大方向------Webgl。先给大

2017-03-21 23:02:51 403

原创总结目前所学1

又是好久没有更新博客了，逞着今天下午公休，赶紧来总结总结最近所学到的知识。其实学习shader编程也有一段时间了，感觉自己还是跟小学生一般，其实前几天就把女神的《Unity shader编程精要》看完了，其实里面还有好几篇知识性的需要写几篇博客来总结，由于最近在寻找进一步学习的资料，所以耽误了更新，说说最近的经历吧。在一些技术大牛的指导下，买了本《OpenGL编程指南》，没错就是所

2017-03-14 16:56:50 320

原创全局雾效2

最近我总是在想，人到底怎么活才有意义，每到周末同学总是出去玩，而自己总是孤独一人，可能这就是宅吧，看到别人活得那么光彩，不免羡慕的同时又恨自己不够强大，或许就是忍受不了这条路上一个人孤独着，今天听到父母出了点意外，而此时我却还在打着游戏，想想父母在外面忙死忙活，而我还在迷茫，不免有点感觉自己不负责任，作为家里唯一的男丁，如果我还在害怕承担责任，还在迷茫的话，恐怕谁也救不了我，除了我自己。为什么我们

2017-03-04 20:01:25 438

原创全局雾效1

好多天没更新了，这几天换了台电脑，以前的电脑比较老，很难再满足我了，也是应为如此，所以才停更了几天，更让人高兴的是，我终于可以打开shadertoy这个网站了，这个网站是全球shader爱好者都会发布一些优秀的shader作品在上面，所以对电脑的配置有一定的要求，可能不久我会研究研究、然后发布有关上面作品学习的博客。好了，废话不多说，今天我们来学习Unity里面全局雾效，要学习这

2017-03-03 23:43:46 702

原创再续PS

最近几天断了更，毕竟是周末，还是很不要脸地休息了，出去跟同学骑行，骑了七十多公里，还是很佩服自己的耐力（更甚的是同行的还有两个女生坚持了下来），也算干了件牛逼的事。今天回看上面几篇博客发现格式出了些问题，发表前和发表后明显不一样，不知道是审核时出了什么问题，我尽量写的格式规范一点，以免出现问题。今天继续上面几篇的内容，前面我们学到了静态图片怎么通过高斯模糊来达到一定的效果，那么今天我们

2017-02-27 12:38:40 375

原创 shader中实现PS的部分功能

随着渐渐开学了，事也变得越来越多了了起来。所以自学的时间也就意味着变得越来越少了起来，但希望还是不忘初心，继续努力。废话不多说，开始我们的学习。这次我们学习的是屏幕后处理效果，这是游戏中实现屏幕特效的常见方法，所谓屏幕后处理效果，顾名思义，就是在渲染完整个场景后，再对屏幕实现一系列操作，实现各种特效。这一篇我们先实现一些简单的效果----------亮度

2017-02-21 22:28:05 892

原创 shader中一些光照模型

漫反射光照模型何为漫反射呢？即指光线被粗糙表面无规则地向各个方向反射的现象。通俗一点就是相对高光而言，没有刺眼的光斑产生.首先我们给出漫反射部分计算公式：Cdiffuse=(Clight*Mdiffuse)max(0,n*l)主要我们看看漫反射模型的shader代码：Properties{ _Diffuse("Diffuse",Color)=(

2017-02-19 23:18:53 1127

原创火焰跳动小案例

今天了学习一个有趣的小案例----------火焰跳动。先给大家看一下效果图：这其实是个动图，展现了类似爆炸一样的火焰跳动。其实里面用到了纹理动画中的序列帧技术，序列帧动画的原理非常简单，它就像放电影一样，依次播放一系列关键帧图像，速度足够快时，看起来就是动画效果。缺点就是需要美工的工作量很大。这里贴上shader的代码： Properties {_C

2017-02-17 21:12:41 802

转载渲染流水线

渲染流水线是让我们知道shader是如何工作的，如果不了解渲染流水线就不能说自己对shader入门，渲染流水线的目的在于生成或者说是渲染一张二维纹理，即我们在电脑上看到的效果。 1.什么是渲染流水线？渲染流水线包括三个阶段：应用阶段，几何阶段，光栅化阶段。 2.应用阶段这个阶段是由我们主导的，因此通常由CPU负责实现。 3.几何阶段几何阶段用于处理所有和我

2017-02-17 15:04:31 504

2019年暨南大学计算机资料以及历年真题答案

空空如也