qq_43436046的博客

原创 HBase 与布隆过滤器

HBase 与布隆过滤器

原创 Hbase LSM树的索引结构

Hbase中的LSM树Hbase中的LSM树

原创 MPI MPI_Bcast （广播）用法详解

函数范式int MPI_Bcast( void * data_p; int count; MPI_Datatype datatype; int source_proc; MPI_Comm comm;);功能描述：一个广播发生的时候，一个进程会把同样一份数据传递给一个 communicator 里的所有其他进程。根节点调用 MPI_Bcast 函数的时候，data 变量里的值会被发送到其他的节点上。当其他的节点调用 MPI_Bcast 的时候，data 变量会被赋值成从根节点接受到的数据。

原创 安装cudnn

下载对应的版本：https://developer.nvidia.com/rdp/cudnn-archive注意有的软件编译只能使用低版本的cudnn，如darknet，要cudnn7.x。这时候也要选怎配套的cuda，一般驱动没有什么问题。下载上边的文件后，改后缀名为.tgz上传到linux上后，正常的tar解压。如果cuda是安装在默认的路径下则执行：cp cuda/include/cudnn.h /usr/local/cuda/includecp cuda/lib64/libcudn

原创 Spark Driver和Executor 的关系

加一个 i ,i 在driver 中，map(_*i)在executor 中，需要i 能够序列化，才能将i 传一份到executor。

原创 关联分析复习笔记

一些基本概念事务：每条交易称之为一个事务项：交易的每个物品称之为一个项，如牛奶，面包等项集：包含零个或者多个项的集合如{牛奶，面包}规则：从项集中找出各项之间的关系，如关联规则{牛奶}–>{面包}一些重要概念支持度：是个百分比，指的是某个商品组合出现的次数和总次数之间的比例。支持度越高，代表这个组合出现的频率越大。置信度：指的是当你购买了商品A，会有多大的概率购买商品B。提升度：代表的是”商品A的出现，对商品B的出现概率提升的“程度公式：提升度（A->B）= 置信度（A-&

原创 云服务器添加SSL证书使得https可用

一、前提（1）已经申请域名（2）购买了云弹性服务器二、流程1.申请免费ssl证书https://www.huaweicloud.com/?utm_source=baidu&utm_medium=brand&utm_campaign=10056&utm_content=&utm_term=&utm_adplace=AdPlace024711搜索“免费证书”，点击进入按照指导步骤一步一步来，重要的一步：2.在云平台上的域名解析中添加DNS解析。选择T

原创 报错“bash: jps: command not found”

运行xcall.sh jps时提示，报错“bash: jps: command not found”检查如下：已经安装jdk，配置好jdk的环境变量，且本机执行jps命令没有问题！解决办法：1.切换root用户su root2.创建符号链接ln -s jps的路径 链接目标存放位置我的设置如下：ln -s /opt/module/jdk1.8.0_144/bin/jps /usr/local/bin/jps附xcall.sh脚本：#! /bin/bashfor i in mast

原创 Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apa

在C:\Windows\System32添加windows版本hadoop中的hadoop.dll，拖一份过来就行。

原创 windows释放GPU内存方法

在进行pytorch训练的时候，会出现类似以下错误：RuntimeError: CUDA out of memory. Tried to allocate这表示显卡内存不足，搜索怎么释放显卡的内存的时候，大多都是linux下的解决方法。windows下可以这样做：打开cmd窗口，输入nvidai-smi查看显卡使用情况如图可以看到下边有个PID表示进程id,然后打开任务管理器，点击详细信息，根据pid找到需要释放的进程结束即可。...

原创 查看torchvision版本

import torchvisionprint("Torchvision Version: ",torchvision.version)

原创 jupyter运行改变Kernel

这里写自定义目录标题jupyter 运行改变kerneljupyter 运行改变kernel1，首先，在anaconda中切换到想要的kernel环境下，确认是否安装了ipykernel这个包，如果没有则安装。2，python -m ipykernel install --name XXXX XXXX最好和环境名称一样。...

原创 CentOS7安装docker步骤及遇到的问题

1.查看内核版本<Docker 要求 CentOS 系统的内核版本高于 3.10> uname -r 本机<内核版本: 3.10.0-327.el7.x86_64>2.卸载旧版本$ sudo yum remove docker \ docker-client \ docker-client-latest \

原创 解决pip安装，conda create，conda安装时速度慢的方法

pip永久修改，一劳永逸：Linux下，修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”，表示是隐藏文件夹)内容如下：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]trusted-host=mirrors.aliyun.comwindows下，直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini。内容同上。conda

原创 LINUX下minconda安装与配置

1，下载软件：wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh2,安装sh Miniconda3-latest-Linux-x86_64.sh3，激活source ./miniconda3/bin/activate4，添加频道conda config --add channels biocondaconda config --add channels conda-forge5，添加镜像

原创 如何优雅地翻译外文文献

如何优雅地翻译外文文献一个不错的翻译工具—Copytranslator。官网: https://copytranslator.github.io/.可以解决pdf断句和换行问题。

翻译 JDK/JRE/JVM区别

JDK（Java Development Kit）是针对Java开发员的产品，是整个Java的核心，包括了Java运行环境JRE、Java工具和Java基础类库。Java Runtime Environment（JRE）是运行JAVA程序所必须的环境的集合，包含JVM标准实现及Java核心类库。JVM是Java Virtual Machine（Java虚拟机）的缩写，是整个java实现跨平台的...

原创 RNN学习笔记

一/为什么需要循环神经网络普通的神经网络：输入->网络结构->输出 数据都是固定的数据，不是变长。（例如文本)循环神经网络———序列式问题：1。一对多问题：图片生成描述，给定一张图片，生成一个描述（文本），文本是不定长的2。多对一问题：文本分类（文本情感分析），输入不定长3。多对多问题：机器翻译，非实时翻译。需要写完需要翻译的文本。视频解说翻译，实时翻译二/循环神经网络...

原创 汽车大数据资料补充

新能源汽车数据错误排在前8位的错误类型中，出错率最高的项目是“车辆状态为空或错误”，占比16.76%；排在第四位的错误类别是充电状态为空或者无效，占比4.82%。造成这种现象的原因可能是某些型号车辆的充电状态检测装置损坏所造成。除了以上两类错误，其他排名在前的6类错误均为电池单体问题，包括单体温度和电压的错误，初步判断为车载信息采集模块精度较低，传输数据质量较差。从丢包率大于1，30秒内里程跳...

原创 《大数据挖掘》读后笔记

分类算法代表：C4.5 CART KNN Naïve Bayes聚类算法代表：K-means BIRCH关联分析算法代表：Apriori FP-Growth序列模式挖掘算法代表：GSP PrefixSpan统计机器学习算法代表：SVM EM聚合挖掘算法代表：CRB粗糙集算法代表：Finding reduct 能从大量不完全的信息中找出符合现有数据的规则。图挖掘算法代表...

原创 小程序开发

小程序的开发主要分为三个部分1、页面布局：WXML，类似于HTML2、页面样式：WXSS，几乎就是CSS（某些不支 持，某些进行了增强）3、页面脚本：JavaScript+WXS,（JS,以及WeixinScript）微信小程序使用MVVM架构（Vue、React）申请AppID:https://mp.weixin.qq.com/cgi-bin/loginpage?t=w...

原创 深度学习笔记

回顾1、有监督学习的一般流程2、机器学习算法的分类有监督学习：分类问题，确定样本类别；回归问题，确定一个实数值无监督学习：聚类问题，类别没有事先定义，由算法确定；数据降维问题，将一个向量变换到低维空间中强化学习：根据当前的状态确定要执行的动作，以达到某一目标，抽象来说，是最大化累积回报。下棋问题就是强化学习的一种，自动驾驶汽车也是。反馈结果具有延迟性。学习深度学习需要的知识微积分...

原创 网络编程