- 博客(18)
- 收藏
- 关注
原创 jupyter 取消科学计数法
加入一下代码pd.set_option('display.float_format',lambda x : '%.2f' % x)
2020-10-16 15:43:41
4120
1
原创 python两个日期计算年龄
1. 按月份计算年龄比如当前是2020.8月份,2019.8月份之前出生的都是1岁,8月份之后出生的是0岁,def calculate_age(birth): birth_d = datetime.datetime.strptime(birth, "%Y-%m-%d") today_d = datetime.datetime.now() if today_d.month> birth_d.month: age = today_d.year - birth_d
2020-08-20 16:18:27
10828
1
原创 python list 转为dict
两个list构造字典利用 dict,zipkey =[1,2,3]value = ["a","b","c"]dict(zip(key, value))> {1: 'a', 2: 'b', 3: 'c'}list所有元素对应相同的value(1) dict.zip方式key =[1,2,3]value = ["a"]*len(key)dict(zip(key, value))> {1: 'a', 2: 'a', 3: 'a'}(2)map 方式list(.
2020-08-12 11:47:34
1512
原创 python df写入redis
python 中的df通过pipeline 快速写入redisimport pandas as pddf = pd.DataFrame([[1,"a"],[2,"c"],[3,"p"]],columns=["user_id","grand"])df.head() user_id grand0 1 a1 2 c2 3 pimport redisredis = redis.Redis(host="localhost", port=6379,password="123",db=0) #不
2020-07-31 10:24:31
1130
1
原创 Pytorch下GPU加速
1.单GPU加速1.1 确保服务器的GPU可用 import GPU torch.cuda.is_available() #返回True,GPU能够使用 torch.cuda.device_count() #能够使用的GPU数量1.2 查看GPU信息,在命令行输入nvidia-smi动态查看命令,0.5s更新一次:watch -n 0.5 nvidia-smi1.3 ...
2020-07-31 09:48:26
409
原创 本地连接远程服务器jupyter-notebook
1. 条件服务器已安装了Anconda2. 查看python版本[root@slave2 ~]# whereis python
2019-11-14 17:46:16
616
原创 Spark yarn模式任务提交
1. Spark yarn模式任务提交Spark yarn模式任务提交有两种,Yarn-cluster,Yarn-client,默认client1.1 名词简介1. ResourceManager是集群所有应用程序的资源管理器,能够管理集群的计算资源并为每个Application分配,它是一个纯粹的调度器。2. NodeManager是每一台slave机器的代理,执行应用程序,并监控应...
2019-11-13 10:44:41
495
原创 Linux-centos7安装大数据管理组件Ambari-server
1. Ambari 简介Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。2. 安装环境准备1. ssh 免密码登录修改主机名vi /etc/sysconfig/network...
2019-06-27 19:51:22
909
原创 数据挖掘常见面试题
1.机器学习方面1.1 为什么会有过拟合,如何预防或克服过拟合?过拟合(overfit): 在训练数据集上能获得很好的拟合,但在测试数据集上拟合的很糟糕,这种现象叫过拟合,就是训练的模型过于记住了训练样本的特征,使模型的训练误差很小,泛化误差很大。过拟合产生的原因:1.训练集和测试集特征分布不一致2.数据噪声太大3.数据量太小4.特征量太多5.模型太过复杂解决方法:1.减少特征...
2019-04-26 15:47:20
10544
原创 Vue安装及使用
1.下载及安装1.1 从官网下载:http://nodejs.cn/download下载相应的版本,我用的是linux Centos 所以下载Linux。下载后用ftp的put上传到linux。注:安装时用root,避免了权限的问题[root@centos_master Vue]#tar -xvf node-v10.15.3-linux-x64.tar.xz[root@cen...
2019-04-04 09:41:52
208
原创 从 GitHub拉取项目
从GitHub下载项目时需要git 工具,所以先安装git工具1. 安装git1.1 从官网下载:https://git-scm.com/点击后会自动下载。1.2 安装双击下载下来的.exe文件,按默认点击Next进行安装安装完成后在桌面的空百处,右击鼠标多了git gui 和Git bash点击Git Bash,进入git2. 从GitHub拉取项目2.1 找到项目的...
2019-03-15 16:42:55
1919
原创 Cloudera CDH5.16安装
1.安装文件下载**CDH下载地址:**http://archive.cloudera.com/cdh5/parcels/**Cloudera Manage下载:**http://archive.cloudera.com/cm5/cm/5/由于我们的操作系统为CentOS6.5,对应的版本是:CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcelCDH-5.7.1-1...
2019-03-02 15:43:14
936
原创 Tensorflow实现卷积神经网络
1.卷积神经网络简介卷积神经网络网络(CNN)最初是为解决图像识别等问题设计的。在深度学习之前,主要借助SIFT。HoG等算法提取图像的特征,再结合SVM等机器学习算法进行图像识别。CNN被作为一个深度学习的架构降低了对图像数据预处理的要求,避免了复杂的特征工程,CNN可以直接使用图像的原始像素作为输入,在训练时自动提取最有效的特证。在卷积神经网络中,第一个卷积层会直接接受图像像素级的输入,每...
2019-02-27 10:31:58
1806
2
原创 Linux - presto-server-0.216安装
1.Presto简介Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎,可对从数 G 到数 P 的大数据进行交互式的查询,查询速度快(据称性能是hive的10倍以上),Presto 的目标是在可期望的响应时间内返回查询结果,单个 Presto 查询可合并来自多个数据源的数据进行统一分析。适合场景:PB级海量数据复杂分析,交互式SQL查询,⽀持跨数据源查询不适...
2019-02-21 10:13:50
1458
原创 感知机与多层感知机
1.感知机与多层感知机1.1 门与门:实现逻辑“乘”运算 y=AB与门真值表ABy000010100111非门:实现逻辑非,一对一输出非门真值表Ay0110或门:实现逻辑“和”运算 y=A+B或门真值表ABy00010101111...
2019-01-31 10:02:50
7040
原创 Anaconda下tensorflow的安装
1.终端安装tensorflowstep1:打开Anconda Prompt(以管理员身份运行),建立名为tensorflow的conda计算环境输入:conda create -n tensorflow python=3.5step2: 环境完成后,激活tensorflow环境输入:activate tensorflowstep3:激活tensorflow环境后,安装tensor...
2019-01-17 11:11:44
1928
原创 深度学习——自编码器
一、自编码器简介传统的机器学习任务很大程度上依赖于好的特征工程,在图像,语音和视频提取有效的特征就更难了,深度学习则可以解决人工难以提取有效特征的问题,可以大大缓解机器学习模型对特征工程的依赖。自编码就是深度学习自动提取有效特征的算法,即使用一些稀疏的高阶特征重新组合来重构自己。(比如汽车的图片,我们提取出汽车的车轮,车窗,车身等高阶特征,使用这些高阶特证可以有效的对图片进行分类,这就是高阶特...
2019-01-16 17:52:28
1244
原创 混合蛙跳算法原理与实现
一、原理在一块湿地,有N只青蛙,都在找食物最多的地方。湿地的整个青蛙群体可以划分为多个不同的子群体,每个子群体有各自的信息(食物最多的地方的信息),每个青蛙对食物最多地方有自己的决策信息,青蛙之间互相交流,互相影响,青蛙个体的决策信息在进化,整个子群体也会进化。当一定程度后,各个子群体间进行信息交换(全局搜素),实现子群体间的混合运算。直到满足条件(全局最优解基本不变,全局优化次数已达到上限)。...
2018-12-03 17:43:11
8353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人