奥特慢-QM-CSDN博客

原创 jupyter 取消科学计数法

加入一下代码pd.set_option('display.float_format',lambda x : '%.2f' % x)

2020-10-16 15:43:41 4043 1

1. 按月份计算年龄比如当前是2020.8月份，2019.8月份之前出生的都是1岁，8月份之后出生的是0岁，def calculate_age(birth): birth_d = datetime.datetime.strptime(birth, "%Y-%m-%d") today_d = datetime.datetime.now() if today_d.month> birth_d.month: age = today_d.year - birth_d

2020-08-20 16:18:27 10721 1

原创 python list 转为dict

两个list构造字典利用 dict,zipkey =[1,2,3]value = ["a","b","c"]dict(zip(key, value))> {1: 'a', 2: 'b', 3: 'c'}list所有元素对应相同的value(1) dict.zip方式key =[1,2,3]value = ["a"]*len(key)dict(zip(key, value))> {1: 'a', 2: 'a', 3: 'a'}（2）map 方式list(.

2020-08-12 11:47:34 1499

原创 python df写入redis

python 中的df通过pipeline 快速写入redisimport pandas as pddf = pd.DataFrame([[1,"a"],[2,"c"],[3,"p"]],columns=["user_id","grand"])df.head() user_id grand0 1 a1 2 c2 3 pimport redisredis = redis.Redis(host="localhost", port=6379,password="123",db=0) #不

2020-07-31 10:24:31 1100 1

原创 Pytorch下GPU加速

1.单GPU加速1.1 确保服务器的GPU可用 import GPU torch.cuda.is_available() #返回True，GPU能够使用 torch.cuda.device_count() #能够使用的GPU数量1.2 查看GPU信息，在命令行输入nvidia-smi动态查看命令,0.5s更新一次：watch -n 0.5 nvidia-smi1.3 ...

2020-07-31 09:48:26 401

原创本地连接远程服务器jupyter-notebook

1. 条件服务器已安装了Anconda2. 查看python版本[root@slave2 ~]# whereis python

2019-11-14 17:46:16 597

原创 Spark yarn模式任务提交

1. Spark yarn模式任务提交Spark yarn模式任务提交有两种，Yarn-cluster,Yarn-client，默认client1.1 名词简介1. ResourceManager是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。2. NodeManager是每一台slave机器的代理，执行应用程序，并监控应...

2019-11-13 10:44:41 464

原创 Linux-centos7安装大数据管理组件Ambari-server

1. Ambari 简介Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。2. 安装环境准备1. ssh 免密码登录修改主机名vi /etc/sysconfig/network...

2019-06-27 19:51:22 875

原创数据挖掘常见面试题

1.机器学习方面1.1 为什么会有过拟合，如何预防或克服过拟合？过拟合(overfit)：在训练数据集上能获得很好的拟合，但在测试数据集上拟合的很糟糕，这种现象叫过拟合，就是训练的模型过于记住了训练样本的特征，使模型的训练误差很小，泛化误差很大。过拟合产生的原因：1.训练集和测试集特征分布不一致2.数据噪声太大3.数据量太小4.特征量太多5.模型太过复杂解决方法：1.减少特征...

2019-04-26 15:47:20 10484

原创 Vue安装及使用

1.下载及安装1.1 从官网下载：http://nodejs.cn/download下载相应的版本，我用的是linux Centos 所以下载Linux。下载后用ftp的put上传到linux。注：安装时用root，避免了权限的问题[root@centos_master Vue]#tar -xvf node-v10.15.3-linux-x64.tar.xz[root@cen...

2019-04-04 09:41:52 197

原创从 GitHub拉取项目

从GitHub下载项目时需要git 工具，所以先安装git工具1. 安装git1.1 从官网下载：https://git-scm.com/点击后会自动下载。1.2 安装双击下载下来的.exe文件，按默认点击Next进行安装安装完成后在桌面的空百处，右击鼠标多了git gui 和Git bash点击Git Bash，进入git2. 从GitHub拉取项目2.1 找到项目的...

2019-03-15 16:42:55 1897

原创 Cloudera CDH5.16安装

1.安装文件下载**CDH下载地址：**http://archive.cloudera.com/cdh5/parcels/**Cloudera Manage下载：**http://archive.cloudera.com/cm5/cm/5/由于我们的操作系统为CentOS6.5，对应的版本是：CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcelCDH-5.7.1-1...

2019-03-02 15:43:14 926

原创 Tensorflow实现卷积神经网络

1.卷积神经网络简介卷积神经网络网络（CNN）最初是为解决图像识别等问题设计的。在深度学习之前，主要借助SIFT。HoG等算法提取图像的特征，再结合SVM等机器学习算法进行图像识别。CNN被作为一个深度学习的架构降低了对图像数据预处理的要求，避免了复杂的特征工程，CNN可以直接使用图像的原始像素作为输入，在训练时自动提取最有效的特证。在卷积神经网络中，第一个卷积层会直接接受图像像素级的输入，每...

2019-02-27 10:31:58 1746 2

原创 Linux - presto-server-0.216安装

1.Presto简介Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询速度快(据称性能是hive的10倍以上)，Presto 的目标是在可期望的响应时间内返回查询结果，单个 Presto 查询可合并来自多个数据源的数据进行统一分析。适合场景：PB级海量数据复杂分析，交互式SQL查询，⽀持跨数据源查询不适...

2019-02-21 10:13:50 1429

原创感知机与多层感知机

1.感知机与多层感知机1.1 门与门：实现逻辑“乘”运算 y=AB与门真值表ABy000010100111非门：实现逻辑非，一对一输出非门真值表Ay0110或门：实现逻辑“和”运算 y=A+B或门真值表ABy00010101111...

2019-01-31 10:02:50 6987

原创 Anaconda下tensorflow的安装

1.终端安装tensorflowstep1:打开Anconda Prompt（以管理员身份运行），建立名为tensorflow的conda计算环境输入：conda create -n tensorflow python=3.5step2: 环境完成后，激活tensorflow环境输入：activate tensorflowstep3：激活tensorflow环境后，安装tensor...

2019-01-17 11:11:44 1902

原创深度学习——自编码器

一、自编码器简介传统的机器学习任务很大程度上依赖于好的特征工程，在图像，语音和视频提取有效的特征就更难了，深度学习则可以解决人工难以提取有效特征的问题，可以大大缓解机器学习模型对特征工程的依赖。自编码就是深度学习自动提取有效特征的算法，即使用一些稀疏的高阶特征重新组合来重构自己。（比如汽车的图片，我们提取出汽车的车轮，车窗，车身等高阶特征，使用这些高阶特证可以有效的对图片进行分类，这就是高阶特...

2019-01-16 17:52:28 1185

原创混合蛙跳算法原理与实现

一、原理在一块湿地，有N只青蛙，都在找食物最多的地方。湿地的整个青蛙群体可以划分为多个不同的子群体，每个子群体有各自的信息（食物最多的地方的信息），每个青蛙对食物最多地方有自己的决策信息，青蛙之间互相交流，互相影响，青蛙个体的决策信息在进化，整个子群体也会进化。当一定程度后，各个子群体间进行信息交换（全局搜素），实现子群体间的混合运算。直到满足条件（全局最优解基本不变，全局优化次数已达到上限）。...

2018-12-03 17:43:11 8305

奥特曼-QM的博客