经历
I am not a designer nor a coder. I’m just a guy with a point-of-view and a computer.
翻译:俺不是码畜,俺只是一条对着电脑有点想法的土木狗。
笔者1982年出生,西南交通大学渣硕,目前仍在土木行业(PS:年纪大,跳不动)。
2001-2005年,本科阶段学的C艹,60几分飘过。
2005-2008年,研究生阶段用Ansys、Flac3D做数值分析。
2008-2014年,毕业后,利用业余时间捣腾过一段时间网赚(卢松松博客,竟然还能访问),使用易语言(大漠插件等)做过一些辅助工具;也交过学费,套用商业建站模板,做过一个自己的博客网站(已经报废)。
2014年,在我乎知道Python,这个时候还是python 2.7的时代;跟着廖雪峰、挖煤哥、虫师的博客开启爬虫取数之旅。
2016年,通过注册岩土专业考试,之后,便萌生了一个New idea,越发觉得少个程序员,或越发觉得自己的编程能力有待提高。
2017年,参照狗书用Flask+mongoDB完成网站**intumu.com**,和你现在访问的不太一样,早期版本采用原始的Bootstrap,参照阮一峰博客调整页面布局;现在采用AdminLTE框架,JS单页H5应用已不在话下,更有意向Web 3.0转型。
2018年,上线了微信小程序:注册土木;期间也开发了几个其他品类的小程序,因为需求定位的原因几近荒废。
2019年,出版一本关于Bokeh数据可视化的书籍。
2020年,继续提升数据分析到数据挖掘Skearn。
2021年,年底整理了一本Skearn在土木工程中应用的书籍,还在走出版流程;回头望,编程领域还是回到Web数据动态可视化,这块是我的强项。
2022年,重构狗书,整了一本Flask+MongoDB的书,其中包含了web3.0的实例;后面可能会在Flask+MongoDB+Bokeh的基础上做一些可以落地的小项目(PS:大项目,整不动)。
以上写在2023-1-17,且都是基于Python库,再回首,作为一条资深卷狗,40多岁的我,会在Python这条路上一直探索,至于土木领域,反倒一切随缘了,TMD!
经验
- 一旦遇到问题,请过滤掉专家的意见,只采纳跟你有类似经历的人的意见。
- 做好最坏的打算,以最积极的心态去面对,而不是逃避。
- 学不学编程,完全取决于是否想学,其他的别多想。
- 种一棵树最好的时间是十年前,其次是现在。
作品
2018-2019本主归纳整理了一本书《python数据可视化:基于bokeh的可视化绘图》,如果你在学习或从事数据分析,对数据的安全性和可视化的美观性有一定的要求,那么欢迎使用Bokeh;如果恰好你还有点Django、Flask基础,那么,Web动态数据可视化会使你的数据报告锦上添花,别不信,看看Github上各种可视化库的标星数!
下图中数据更新于2020-12-01:
2020-12-01采集的数据
零、前言
yeayee:土木、机械等传统行业转行Python的几个方向?
一、安装
1.1Python安装
1.2Pycharm安装及虚拟环境配置
1.3Pip安装依赖库
yeayee:Python数据分析及可视化之python安装
1.4 Python基础
二、初级篇
基础魔法是在实践中不断迭代、精进的,
Talk is cheap, show me your code.
2023-6-26 准备给自家小孩教学用的课件:
还有另一部分课件,适合小白,已经发布在公众号【调包】,就不在知乎展示了。
三、中级篇
第1章 安装(已前置)
第2章 数据采集
2.1数据采集简介
yeayee:Python数据分析之数据采集获取技能树(爬虫)
2.2 Re正则
2.3 Request、BeautifulSoup
yeayee:Python数据分析及可视化实例之Request、BeautifulSoup
2.4 Selenium、PantomJS
yeayee:Python数据分析及可视化实例之Selenium、PantomJS
yeayee:利用python request Selenium cookies 交互DIY八爪鱼采集器
2.5 多线程,多进程
yeayee:Python数据分析及可视化实例之多线程、进程
2.6异步高并发
2.7 Pyspider、Scrapy简介
yeayee:Python数据分析及可视化实例之Pyspider、Scrapy简介
在Flask中不同的login作用域问题 - 知乎 (zhihu.com)
2.8 Python爬虫终结者:万用爬虫技术的实现
yeayee:使用Python及Fiddler获取任意微信文章的阅读数和点赞数,可用于监控
yeayee:基于Fiddler Selenium Requests的万用爬虫技术
civilpy:[Windows] 一个能用的微信小程序抓包方式(亲测)
第3章 数据存储与读取
3.1 存储方式简介
yeayee:Python数据分析及可视化实例之存储方式简介
yeayee:Python数据分析及可视化实例之CentOS7.2+MongoDB V3.4 安装
3.2 常规存储txt、csv、xls
yeayee:Python数据分析及可视化实例之常规存储txt、csv、xls
3.3 存储至数据库MongoDB
yeayee:Python数据分析及可视化实例之MongoDB增删改查
3.4 数据库备份及迁移
yeayee:Python数据分析及可视化实例之MongoDB备份迁移
yeayee:Python数据分析及可视化实例之期中考试源码
第4章 Pandas数据分析
4.1 Anaconda、Jupyter简介
yeayee:Python数据分析及可视化实例之Anaconda、Jupyter简介
4.2 Numpy
4.3 Scipy
4.4 Pandas
yeayee:Python数据分析及可视化实例之Pandas函数速查表
yeayee:Python数据分析及可视化实例之Pandas十分钟入门
civilpy:Pandas中根据列的值选取多行数据,四种方法!
yeayee:Pandas Dataframe操作concat、join、merge
yeayee:Pandas crosstab()与pivot_table()和groupby()的比较
yeayee:Python数据分析及可视化实例之西安某小区房价初探源码
civilpy:Python数据分析之广东各地区房价多维度分析
yeayee:Python pandas教程推荐【本主强力推荐,全网最佳,免费教材】
Pandas50个高级操作,点评+扩充!【本主以注释,结合GPT3.5】
yeayee:某国外电商销售数据分析之客户留存(含源码及数据源)
yeayee:Python数据分析及可视化实例之全国各城市房价分析(含数据采集)
第5章 数据可视化
civilpy:matplotlib高阶操作-水平堆叠柱状图
5.1 可视化图表应用简介
yeayee:Python数据分析及可视化实例之可视化图表应用简介
5.2 Bokeh与Pycharm、Jupyter交互生成本地常规图表
yeayee:Python数据分析及可视化实例之Bokeh与Jupyter生成可视化图表
yeayee:Bokeh可视化实例|全国主要城市地铁运营里程及客流量
civilpy:Bokeh数据高阶交互遗留的问题cb_obj、cb_data
civilpy:Flask + Bokeh + AdminLTE+MongoDB(半成品)
【成品请私我】
在Flask中不同的login作用域问题 - 知乎 (zhihu.com)
civilpy:Python Bokeh高阶控件交互示例代码
Echarts5
yeayee:蹭一蹭Echarts5的热度,用Python jinja2实现渲染
yeayee:Python调用echarts5实现数据可视化-01
yeayee:Python调用echarts5实现数据可视化-02-魅惑黑
Python使用bokeh及folium实现地理位置信息的交互可视化
civilpy:使用 Python 地图绘制工具 – folium tiles–地图API提供商
使用Basemap时matplotlib的色板映射 - 知乎 (zhihu.com)
civilpy:NetworkX转换为Bokeh动态可视化(D3.js)
civilpy:22款前端可视化UI|大屏|看板|数据座舱|作战室及相关推荐
【注】个别图形可用Echarts完成,想成为可视化大神,还是建议使用Bokeh或其他库
5.3 文本类词频统计生成自定义词云
yeayee:Python 玩转wordcloud词云图片格式转化
yeayee:Python将matplotlib结果转为Base64
5.4 地理坐标显示生成热力云图
5.5 数据在线动态可视化
5.5.1 Flask Web开发
yeayee:Python数据分析及可视化实例之Flask Web开发
yeayee:Flask之Bootstrap前端Grid布局小结
yeayee:Flask下载ZIP或RAR大文件——流式下载
5.5.2 Flask Web开发在线数据展示页面
带交互控件
5.5.3 Restful API接口开发
5.5.4 微信小程序开发在线数据展示页面
即便是个人开发者,也有必要做一下小程序
5.5.5 简易聊天室socketIO
5.5.6flask+socketIO+echarts实时监控CUP
civilpy:flask+socketIO+echarts实时监控CUP
5.6 CentOS中Flask标准化部署流程
yeayee:Python数据分析及可视化实例之CentOS7.2+Python3x+Flask部署标准化配置流程
yeayee:Pyinstall打包moviepy遇到的两个问题
civilpy:Flask + Bokeh + AdminLTE+MongoDB(半成品)
5.7Python+flask实现web3的可行路径
civilpy:基于以太坊及Flask的web3尝试**【被知乎保护】**
基于以太坊及Flask的web3尝试【Metamask安装】
civilpy:Web3.0以太坊代币计量单位(ethUnit.toWei)
civilpy:Web3.0-使用metamask获取某个账号(钱包地址)的余额、交易回执
civilpy:Python web3.0实现:MetaMask钱包
civilpy:Python web3.0实现:web3.js
一个最简单的web3.0实例化过程(1) - 知乎 (zhihu.com)
一个最简单的web3.0实例化过程(2) - 知乎 (zhihu.com)
一个最简单的web3.0实例化过程(3) - 知乎 (zhihu.com)
civilpy:Python Flask MongoDB Web开发:前 言
civilpy:Python Flask MongoDB Web开发:安装
civilpy:Python Flask MongoDB Web开发:应用和请求上下文
civilpy:Python Flask MongoDB Web开发:请求分派、请求对象
civilpy:Python Flask MongoDB Web开发:请求钩子
civilpy:Python Flask MongoDB Web开发:响应Response
civilpy:Python Flask MongoDB Web开发:对比cookie与session
civilpy:Python Flask MongoDB Web开发:Jinja2模板引擎
civilpy:Python Flask MongoDB Web开发:使用Flask-Bootstrap集成Bootstrap
civilpy:Python Flask MongoDB Web开发:自定义错误页面
civilpy:《Flask Web开发:基于Python的Web应用开发实战》PDF全书下载
链接: https://pan.baidu.com/s/1FSQXQj9GT4XKtjWNRjH1FQ?pwd=2s26 提取码: 2s26 复制这段内容后打开百度网盘手机App,操作更方便哦
sendmail.bat
支持中文路径,切换盘符,执行py文件,实现一键发送
chcp 65001
cmd /k "e: & cd e:\\Mydocument\\pywork & python 邮件群发.py"
四、高级篇
第6章 Sklearn数据挖掘
6.1机器学习简介
yeayee:Python数据分析及可视化实例之机器学习简介
yeayee:Python数据分析及可视化实例之Sklearn基础
6.2数据探索
yeayee:一个有用的Python可视化库yellowbrick-quickstart
yeayee:一个有用的Python可视化库yellowbrick-tutorial
yeayee:一个有用的Python可视化库yellowbrick-Anscombe’s Quartet
yeayee:一个有用的Python可视化库yellowbrick-Feature Analysis
6.3 基本理论
yeayee:数据挖掘-决策树-利用Bokeh生成树状关系图
civilpy:Aprior与FPTree(fp_growth)算法比较
补充:有时候比较了一堆算法,结果顺便试试LGBM或XGB,发现竟然浪费了这么多时间。除了分类、就是回归,本主更喜好时间序列的分析,预测未知。
6.4 其他实例
yeayee:Python数据分析及可视化实例之车辆MPG数据
yeayee:Python数据分析及可视化实例之基础-交叉验证及预测(波士顿房价)
yeayee:Python数据分析及可视化实例之疾病预测(分类)
yeayee:Python数据分析及可视化实例之泰坦尼克号存活预测
yeayee:Python数据分析及可视化实例之银行信用卡违约预测
yeayee:Python数据分析及可视化实例之披萨饼价格预测
yeayee:Python数据分析及可视化实例之个股走势预测
yeayee:Python数据分析及可视化实例之商品销量预测
yeayee:Python数据分析及可视化实例之基于RFM基本概念进行用户关怀
yeayee:Python数据分析及可视化实例之基于Kmean分析RFM进行用户关怀
civilpy:Python数据分析及可视化实例之基于TGI目标群体指数进行用户关怀
civilpy:Python数据分析及可视化实例之基于用户留存进行用户关怀
yeayee:Python数据分析及可视化实例之房屋制热、制冷功率预测
yeayee:Python数据分析及可视化实例之帝都房价预测
6.5 验证码识别
6.5.1 验证码图片采集
6.5.2 验证码图片二值化、切割
6.5.3 聚类模型训练及测试
yeayee:Python数据分析及可视化实例之手写体数字识别
yeayee:Python数据分析及可视化实例之SKlearn训练结果持久化保存
6.6自然语言处理
6.6.1词频统计
yeayee:Python数据分析及可视化实例之文本处理词频统计
6.6.2停用词处理形成词袋
yeayee:Python数据分析及可视化实例之词袋word2bow
6.6.3文本相似度
yeayee:Python数据分析及可视化实例之文本处理文本相似度
6.6.4抽取文本主题
yeayee:Python数据分析及可视化实例之抽取文本主题
6.6.5情感分析
6.6.6NLP小结
小节自己仅有的一点NLP(自然语言处理)技能树 - 知乎 (zhihu.com)
数据探索及数据不均衡处理完整案例 - 知乎 (zhihu.com)
civilpy:AI中文语音克隆、语音合成——GitHub上babysor/MockingBird 项目源码部分功能实现
(AI孙燕姿莫名其妙的火了?)
civilpy:如何使用AI模型(如GPT、LLaMA),训练某一考试的教材、历年试题?
机器学习(ML)、人工智能(AI)和土木工程的(TM)关系?
(2023-5-1的一点思考:GPT进一步降低了各行业的基础门槛,如果通过它提高生产率才是关键,而不是通过卖GPt账号、卖GPT课程掘金;另外,国外大厂如OPenAI,提供了API,而国内的各种大模型还在遮遮掩掩,等数据都到了国外大模型的服务器,国内再想追赶,几乎是不可能的;还有,涉及到核心的数据,可问GPT算法,但是千万不要偷懒,将完整数据传给国外大模型;最后,web3.0才能拯救数据安全。)
第7章 量化分析
yeayee:用了8张图展示各省上市公司数量,你觉得哪个好看?
yeayee:Python 通过分析知乎话题推荐2021股票
civilpy:Python股票价格预测-ARMA-中国平安
civilpy:Awesome Quant 源于量化资源的导航
civilpy:使用mplfinance实现K线图,以比亚迪为例
civilpy:以比亚迪为例,使用mplfinance分析KJD指标
以比亚迪为例,使用mplfinance分析MACD指标 - 知乎 (zhihu.com)
以比亚迪为例,使用mplfinance分析金叉、死叉 - 知乎 (zhihu.com)
以比亚迪为例,使用mplfinance分析跳空缺口 - 知乎 (zhihu.com)
以比亚迪为例,使用Ta-lib、mplfinance分析形态三只乌鸦、乌云压顶、十字星 - 知乎
以比亚迪为例,使用Ta-lib、mplfinance分析形态锤头,射击之星,早晨之星 - 知乎 (zhihu.com)
分享一个Python基金定投模型 - 知乎 (zhihu.com)
五、参考资料
上面所看到的文章只是Python的一角!
A. 视频教材:网易微课+慕课+其他**(稍后整理,intumu.com)**
B. 纸质教材:机器学习实战(主要是用Python实现基本的算法,理解算法原理)
使用GridsearchCV暴力调参有时候也可以达到意想不到的效果:
https://blog.csdn.net/weixin_33716154/article/details/88012968
C. 深度学习:
- Pytorch或Tensorflow都是很好的库,前者更适合于Sklearn调包的用户。
- civilpy:Win10环境下Pytorch的安装部署
- 但,不是所有项目需要用GPU加速或更高的准确度。
- 2019-09强力推荐:yeayee:Pytorch+动手学深度学习
- 2019-09强力推荐:
D. 本主认为
最终需要将一个Idea落地为产品,并通过营销手段在市场上获取一席之地,才算小有所成。下面是本主近期的文章,仅供参考。
这一半年,大概整理了Skearn、Flask+mongoDB,加之之前的Bokeh可视化;在未来一段时间,将会把技能融合,以具体应用来展示Python黑魔法:
civilpy:【数据分析】卷的一逼,2022北京市朝阳区2022年考试录用公务员拟录用人员公示(第一、二批)
civilpy:【分享】文字、表格、公式图片识别神器V0.8
civilpy:【Q群分析】QQ群聊天记录统计分析工具使用示例
civilpy:用Boostrap、Echart、JavaScripts做一个QQ聊天记录在线分析网页
civilpy:【副业】逗(dou)比(bi)视频下载神器 V 1.0.0
civilpy:Flask 和 Vue.js 开发部署实例(极简版)
civilpy:关于Flask中的request方法和数据,一定要明白
civilpy:基于以太坊、Python Flask实现web3
civilpy:Python 爬取阿里健康西安疫情数据可视化
civilpy:Flask+Bokeh实现地理位置信息可视化(GIS)
civilpy:python-docx 和 pandoc 模块将Word文件转换为Markdown
civilpy:tkinter用类的方式做一个简易的图片浏览器
civilpy:XPayPy支付宝、微信个人免签支付体系搭建框架
civilpy:个人收款码、赞赏码实现微信免签约支付接口原理+源码
civilpy:Pyboard利用NB-IoT模块通过MQTT协议发送dht11传感器的温湿度数据
以上就是“Python数据分析及可视化实例目录”的全部内容,希望对你有所帮助。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
五、Python练习题
检查学习结果。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
最后祝大家天天进步!!
上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。