![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
大鱼-瓶邪
工作已签,base杭州,专注毕业,后期更新可能会稍微少一点,还是会和大家一起探讨。
华中科技大学在读研究生。主要做核聚变模拟计算,管理着82个节点的集群,做大数据和机器学习,利用10多个老节点搭建各种环境钻研大数据知识,主要是Hadoop生态圈(HDFS+Spark+Sqoop+HIve+Hbase+Pig+Zookeeper)。<br>也用python做科研数据分析,机器学习。<br>熟悉scala开发<br>本科期间跟随导师做了两年的java web开发,熟悉ssh框架,mysql,oracle数据库
展开
-
在集群中各节点上离线安装python3.6
说明:该计算node100为主节点,可连外网,其他节点通过内部网络连接,无法连接外网。1.假设编译环境已经准备完善。否则执行下面命令 yum groupinstall 'Development Tools' yum install zlib-devel bzip2-devel openssl-develncurses-devel 2.通过主节点下载 wget https://w...原创 2018-05-14 15:44:54 · 2054 阅读 · 2 评论 -
Python3随机生成名字+日期文件
#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: 1650996069@qq.com or yexin@hust.edu.cn 2018--2020@software: PyCharm@file: GenerateW...原创 2018-09-07 10:47:39 · 3186 阅读 · 1 评论 -
Python使用参数返回计算结果(用函数改变变量的值)
在C语言中,可以通过在参数中使用指针来起到改变参数值的作用,从而达到从函数中返回结果的目的。其实,在 Python中,还有更简单的实现方法,即在参数中使用可变对象(如列表等),使函数中的结果返回到参数中。示例代码如下b的值被成功改变,a的值没有。...原创 2018-09-10 19:16:04 · 1153 阅读 · 0 评论 -
Python运行速度提升
相比较C,C++,python一直被抱怨运行速度很慢,实际上python的执行效率并不慢,而是解释器Cpython运行效率很差。通过使用numba库的jit可以让python的运行速度提高百倍以上。同诺简单累加,相乘的例子,可以看出。#!/usr/bin/env python# encoding: utf-8'''@author: Victor@Company:华中科技大学电...原创 2018-09-21 21:11:37 · 7739 阅读 · 1 评论 -
Python产生People.json训练数据
因为spark作业中需要大量数据集,又无法下载,所以自己用python生成相应格式的数据:产生的数据格式如下图:代码如下去:#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: 1650996069@qq.co...原创 2018-10-17 17:10:03 · 1076 阅读 · 0 评论 -
利用python实现梯度下降和逻辑回归原理(Python详细源码:预测学生是否被录取)
本案例主要是:建立逻辑回归模型预测一个学生是否被大学录取,没有详细介绍算法推到,读者可查阅其他博客理解梯度下降算法的实现:https://blog.csdn.net/wangliang0633/article/details/79082901数据格式如下:第三列表示录取状态,0---未录取,1---已录取,前两列是成绩源码:#!/usr/bin/env python# en...原创 2018-11-12 18:57:25 · 3231 阅读 · 0 评论 -
通过使用各种算法(线性回归,逻辑回归,随机森林,继承算法)预测泰坦尼克号上的某个人是否获救
Python源码:#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: 1650996069@qq.com@software: PyCharm@file: Taitannic.py@time: 2018/11/20...原创 2018-11-20 19:40:51 · 1660 阅读 · 0 评论 -
实战:利用Python sklearn库里的逻辑回归模型训练数据---建立模型
本案例主要是通过对不均衡的28万组数据建立模型,分析预测欺诈用户,采用sigmod函数作为损失函数,采用交叉验证的方法和l1正交法则,比对了不同惩罚函数下的模型的召回率,也通过预测值和实际值做出混淆矩阵更加直观看到各种预测结果。也比较了sigmod函数下的不同阈值下的模型预测的精度和召回率。以下是部分数据格式,代码中对每一步如何做以及为什么做了详细的说明。可能有某些库的版本不同会出现错...原创 2018-11-16 20:12:34 · 4435 阅读 · 1 评论 -
利用Python sklearn库里的决策树模型生成决策树图片以及测试分类的准确度
本案例利用sklearn自带的数据集,选取房子经纬度作为特征参数来对标签进行分类。也用切分的数据训练模型来进行特征参数的选择得到最好的测试准确度。Python源码:#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contac...原创 2018-11-17 20:59:34 · 9566 阅读 · 2 评论 -
用贝叶斯实现拼写检查器(Python3详细源码可运行)
用贝叶斯实现拼写检查器:依据文档总的词的概率计算当前错误输入单词情况下应该正确输入的词。对于贝叶斯的原理,再次不做过多介绍,建议原理自己推到一遍,根本在于:由果索因。相关博客:https://blog.csdn.net/qq_25948717/article/details/81744277Python3源码:代码中好多注释已经非常完善,自己找一篇英文文献txt即可。#!/usr...原创 2018-11-25 19:01:55 · 3322 阅读 · 1 评论 -
支持向量机算法的实现和应用(Python3超详细的源码实现+图介绍)
支持向量机算法的实现和应用,因为自己推到过SVM,建议自己推到一遍, 这里不对SVM原理做详细的说明。原理公式推到推荐看:https://blog.csdn.net/jcjx0315/article/details/61929439#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@versi...原创 2018-11-25 15:39:33 · 5262 阅读 · 1 评论 -
冒泡排序Python3.6
#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: BubbleSort.py@time: 2019/2/19 9:53@De...原创 2019-02-20 10:41:40 · 303 阅读 · 0 评论 -
选择排序Python3.6
#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: SelectionSort.py@time: 2019/2/20 10:2...原创 2019-02-20 10:43:02 · 227 阅读 · 0 评论 -
插入排序Python3.6
#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: InsertSort.py@time: 2019/2/20 12:12@D...原创 2019-02-20 13:16:18 · 258 阅读 · 0 评论 -
Python中函数传递参数模块
函数调用要在函数声明之后。一般格式: def <函数名> (参数列表): <函数语句> reuturn <返回值>参数列表和返回值不是必须的。如果一个函数有多个参数,并且都有默认的值,在调用函数时,只想对最后一个参数传递值,不可以使用“,”作为分割,这样会引发错误,应该重新定义函数。例如:def Cube(...原创 2018-09-10 17:23:26 · 984 阅读 · 0 评论 -
Python--Matlibplot画图功能演示
Matplotlib 是 Python 的一个绘图库。它包含了大量的工具,你可以使用这些工具创建各种图形,包括简单的散点图,正弦曲线,甚至是三维图形。使用之前先导入:#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact...原创 2018-09-16 16:10:49 · 72411 阅读 · 2 评论 -
Python3按一定数据位数格式处理bin文件
因为研究生阶段经常用MATLAB作图,处理数据,但是MATLAB太过于庞大,不方便,就想用python处理。问题:我们通常处理的最原始的数据是bin文件,打开后如下所示,是按16进制形式存储的。 MATLAB处理时,是按照如下方式读取前10个数,int32数据格式,上图中的红色圈表示MATLAB读取的一个数据,前10个数据表示元数据。MATLAB读取的...原创 2018-05-16 19:28:03 · 7499 阅读 · 1 评论 -
Python高级特性之常见的内建函数
内建函数(__xxx__): 1 类似字典的操作方式,__getitem__ __setitem__ __delitem__d = dict()d["a"] = 1d["b"] = 2print(d)del d["a"]print(d)与下面结果一样:class TestDict(object): def __getite...原创 2018-08-15 15:43:47 · 180 阅读 · 0 评论 -
python高级特性之私有属性及私有方法
如果有一个对象,当需要对其进行修改属性时,有2种方法:(1)对象名.属性名=数据---->直接修改(2)对象名.方法名()----->间接修改为了更好的保障属性安全,不能随意修改,一般处理方式为:(1)将属性定义为私有属性(2)添加一个可以调用的方法,供调用,也就是间接调用属性class People(object): def __init__(se...原创 2018-08-15 15:55:31 · 221 阅读 · 0 评论 -
超级详细的协同过滤推荐系统+完整Python实现及结果
协同过滤推荐系统在我们的日常生活之中无处不在,例如,在电子商城购物,系统会根据用户的记录或者其他的信息来推荐相应的产品给客户,是一种智能的生活方式。之所以交协同过滤,是因为在实现过滤推荐的时候是根据其他人的行为来做预测的,基于相似用户的喜好来实现用户的喜好预测。简要介绍: 通过找到兴趣相投,或者有共同经验的群体,来向用户推荐感兴趣的信息。举例,如何协同过滤,来对...原创 2018-08-19 20:00:55 · 61668 阅读 · 65 评论 -
贝叶斯分类器(Python实现+详细完整源码和原理)
在概率和统计学领域,贝叶斯理论基于对某一事件证据的认识来预测该事件的发生概率,由结果推测原因的概率大小首先,理解这个公式的前提是理解条件概率,因此先复习条件概率。P(A|B)=P(AB)/P(B)贝叶斯公式: 在机器学习领域,贝叶斯分类器是基于贝叶斯理论并假设各特征相互独立的分类方法,基本方法是:使用特征向量来表征某个实体,并在该实体上绑定一个标签来代表其所属的类别...原创 2018-08-16 17:20:20 · 80940 阅读 · 50 评论 -
聚类--K-Means(python代码案例+图展示)
人类天生具备这种归纳和总结的能力,具备 一种主观的认知能力,以特征形态的相同或者近似将他们划分在一个概念下,以特征形态的不同划分在不同概念下,这就是聚类的思维方式。 聚类算法:K-Means算法(基于向量距离来做聚类):采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为类簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。k...原创 2018-08-14 14:28:18 · 38654 阅读 · 21 评论 -
回归(python代码案例+图展示)
回归:从大量的结果和自变量反推函数表达式的过程就是回归而回归的过程通常采用拟合的方法(找函数)来实现。拟合可能出现过拟合和欠拟合:过拟合的危害:(1)描述复杂 (2)泛化能力差 原因: (1)训练样本少 (2)力求完美欠拟和的原因:(1)参数过少导致模型不准确 (2)拟合方法不当导致模型太差...原创 2018-08-13 20:54:17 · 3061 阅读 · 0 评论 -
Python的__name__ 属性详解
在 Python 模块中看到 if __name__ == '__main__': 这样的代码,究竟有什么作用呢?意思是说:模块既可以被导入(到 Python shell 或者其他模块中),也可以作为脚本来执行。__name__ 属性所有模块都有一个内置的属性 __name__,__name__ 的值取决于如何使用这个模块。例如,有一个名为 calc.py 的模块,包含以下代码:p...原创 2018-08-17 14:41:45 · 4508 阅读 · 2 评论 -
Python连接字符串用join还是+
先来看一下用join和+连接字符串的例子str1 = " ".join(["hello", "world"])str2 = "hello " + "world"print(str1) # 输出 “hello world"print(str2) # 输出 “hello world"两者的结果是一样,那么考虑这样一个问题,这两者在性能上有区别吗?我们来做个实验,比较下jo原创 2018-08-17 14:44:59 · 459 阅读 · 0 评论 -
Python中内建函数__new__和__init__的区别
我们以为Python中的__init__是构造方法,但其实不然,Python中真正的构造方法是__new__。__init__和__new__有什么区别?本文就来探讨一下。我们先来看一下__init__的用法class Person(object): def __init__(self, name, age): print("in __init__") ...原创 2018-08-17 14:49:25 · 255 阅读 · 0 评论 -
Python的可变对象和不可变对象的区别
Python里和None比较时,为什么是 is None 而不是 == None 呢?这是因为None在Python里是个单例对象,一个变量如果是None,它一定和None指向同一个内存地址。而 == None背后调用的是__eq__,而__eq__可以被重载,下面是一个 is not None但 == None的例子class Foo(object): def __eq__(se...原创 2018-08-17 14:52:44 · 1044 阅读 · 0 评论 -
Python中is 和 == 的区别
我们先来看几个例子:a = "hello"b = "hello"print(a is b) # 输出 Trueprint(a == b) # 输出 Truea = "hello world"b = "hello world"print(a is b) # 输出 Falseprint(a == b) # 输出 Truea = [1, 2, 3]b = [1, 2, 3]...原创 2018-08-17 14:54:32 · 289 阅读 · 0 评论 -
Python3分析处理声音数据
将音频文件拷贝到程序所在目录即可。#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: 1650996069@qq.com or yexin@hust.edu.cn 2018--2020@software: PyCha...原创 2018-09-08 13:08:13 · 5959 阅读 · 1 评论 -
Python分析数据【利用DataFame】--帮一个武大同学分析excel表格数据【记】
Excel数据格式截图:主要分析cog数据在不同指标下随时间的变化,有2005 2008 2011 2014四个年度。prov是不同省份等等。代码如下:# -*- coding: utf-8 -*-"""Created on Fri May 24 09:56:04 2019@author: YEXIN@Company:华中科技大学"""import pandas...原创 2019-05-25 14:45:49 · 536 阅读 · 0 评论