- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MacBERT 的改进（Revisiting Pre-Trained Models for Chinese Natural Language Processing）
这里写自定义目录标题MacBERT简介论文的主要工作预训练模型对比BERTERNIEXLNETMacBERT的结构github地址：https://github.com/ymcui/MacBERT论文地址：https://arxiv.org/abs/2004.13922MacBERT 的主要工作是在RoBERT的基础上进行了几方面的改进，尤其在Mask的策略。MacBERT简介we also propose a new pre-trained model called MacBERT, which
2020-10-30 15:45:25
5475
原创 Unified Language Model Pre-training for Natural Language Understanding and Generation 理解
Unified Language Model Pre-training for Understanding and Generation论文的地址：https://arxiv.org/abs/1905.03197代码地址：https://github.com/microsoft/unilm文章目录Unified Language Model Pre-training for Understanding and GenerationAbstract1.Introduction2.Unified La
2020-10-22 18:02:15
865
原创 FastBert 样本自适应推理机制 理解
FastBERT: a Self-distilling BERT with Adaptive Inference Time的理解文章目录FastBERT: a Self-distilling BERT with Adaptive Inference Time的理解前言一、FastBert模型二、FastBert模型的训练三、FastBert论文中的测试结果总结参考前言FastBert的论文地址：https://arxiv.org/pdf/2004.02178.pdf，github开源代码地址：
2020-10-16 18:36:36
969
2
原创 gensim:word2vec和fasttext训练词向量加载过程可能会抛出ValueError(“invalid vector“ ）
gemsim只加载词向量的时候可能会抛出ValueError异常文章使用的是gensim的版本为3.8.3，gensim中的Word2Vec,FastText的词向量，加载课程中可能都会出现这种异常现象。1.词向量的加载和保存方式from gensim.models import Word2Vecfrom gensim.models import KeyedVectorsfrom gensim.test.utils import common_textsprint(common_texts)
2020-07-13 18:12:31
1365
1
原创 对《Visualizing and Understanding Convolutional Networks》理解
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-07-03 21:57:50
246
原创 jupyter notebook： Intel MKL FATAL ERROR异常处理
**jupyter notebook 异常：**使用sklearn的过程中，出现的jupyter 服务出现这个异常，运行过程服务自动重启：**Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so**问题解决：1.检查scikit-learn和numpy的包版本是否兼容，可能是numpy版本过低，numpy<1.13,升级numpy的版本pip install numpy==1.16.0# 或者conda
2020-05-19 13:22:58
633
原创 jieba分词原理：构建前缀词典，形成语料的有向无环图，动态规划求解最优路径
jieba分词的官方github的地址：https://github.com/fxsjy/jieba，具体的实现代码其中也有，本文对实现过程进行简单的介绍。结巴分词的原理主要分为4步：根据词典构建前缀词典通过分词的语料构建语料的有向无环图(DAG）采用了动态规划思想，查找有向无环图最大概率路径, 找出基于词频的最大切分组合对未登录词（词典中不存在的词），基于隐马尔可夫模型HMM，使用了...
2020-04-30 09:38:43
3006
1
原创 win7 xgboost的源码安装
window7 系统的xgboost的源码安装xgboost的安装和使用可以参考官方的文档https://xgboost.readthedocs.io/en/latest/build.html1.安装gitwindow版本的git如下，地址：https://git-scm.com/download/win从GitHub拉取代码到本地，目录为xgboostgit clone --recu...
2020-03-01 23:20:05
474
原创 jieba分词4种模式示例
jieba分词github地址：https://github.com/fxsjy/jieba结巴分词0.4版本以上支持四种分词模式：精确模式：试图将句子最精确地切开，适合文本分析；**全模式：**把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；**搜索引擎模式：**在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。**paddle模式：**利...
2020-01-10 15:02:30
14575
5
原创 hbase Can't get master address from ZooKeeper; znode data == null
在使用hbase shell 客户端创建表和进行查询的过程中出现异常：Can't get master address from ZooKeeper; znode data == null可能的原因：habse服务未启动，可以通过jps查看hbase的进程解决方法：启动hbase的服务start-hase.sh...
2020-01-06 16:01:02
612
原创 win10Anaconda 安装虚拟环境出现SSLError解决方案
Anaconda的下载链接https://www.anaconda.com/distribution/可以点击下载完成后直接安装到默认的目录或者指定的目录。安装完成后配置环境变量：安装路径：C:\ProgramData\Anaconda3\Scripts将Anaconda的安装路径添加到Path中如下图所示，window10可以通过第一种方式：客户端图形化界面操作点击创建，创...
2020-01-06 11:15:39
2240
原创 hbase的GetJavaProperty和load main class org.jruby.Main的异常
hbase异常的处理HBASE的异常代码：Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaPropertyError: Could not find or load main class org.jruby.Main出现异常可能的原因：1.Hadoop版本和hbase不对应，兼容性...
2020-01-06 11:14:15
1277
原创 django-apscheduler和apscheduler的安装和示例
apschedulerdjango-apscheduler的github链接https://github.com/jarekwg/django-apscheduler，可以通过github中的示例学习django-apschedule人的使用：django-apscheduler是在apscheduler的基础上针对django框架开发的一个插件：This little wrapper ar...
2020-01-02 10:39:03
6238
8
原创 pyalink的安装和demo运行
Alink是基于Flink的通用算法平台，Alink在github的网址：https://github.com/laomagic/Alink1.pyalink的安装pyalink的安装使用python版本>=3.5,本文的python版本为3.6.5，python3.6版本对应的 pyalink 包的下载地址：https://alink-release.oss-cn-beijing....
2019-12-06 12:51:52
3173
2
原创 pyspark启动python的版本设置
spark安装以后以pyspark启动spark交互式界面的时候，默认是系统自带的Python版本启动，而本机是以python2的版本启动，如下所示：spark要以python3的方式启动，需要本地安装有python3，如果没有可以参照下面的方式安装python3，然后在配置文件中加入PYSPARK_PYTHON变量，指定python3的路径信息：第一步：本地安装python3本机是cen...
2019-11-16 18:32:44
2210
原创 centos6.6安装pyinstaller的过程及errror:shared libraries解决
1.本机centos6.6安装python3的方式：python3.6.5的源码编译安装# 准备编译环境yum groupinstall 'Development Tools'yum install zlib-devel bzip2-devel openssl-devel ncurses-devel# 创建安装目录mkdir /usr/local/python3# 解压tar -...
2019-11-16 18:19:08
953
原创 docker的入门教程
# ssh服务的安装# 更新软件缓存yum -y update # 安装ssh服务yum install -y openssh-server# 安装ssh客户端yum -y install openssh-clients ssh-keygen -t rsa cat /root/.ssh/id_rsa.pub cd /etc/ssh vi sshd_configPubkey...
2019-11-10 22:59:06
489
原创 centos6.6源码安装fasttext过程及error：‘nullptr’ 异常解决
centos6.6安装fasttext包第一步：官方教程fasttext的安装方式参考facebook在github上面的案例：https://github.com/facebookresearch/fastText可以到这个地址手动下载安装包：https://github.com/facebookresearch/fastText/releases或者按照教程所示的方式，本人是下载...
2019-11-10 22:53:10
708
原创 docker中部署hadoop集群案例
Docker 是一个开源的应用容器引擎，让开发者可以快速打包应用以及依赖到一个可移植的容器中，然后发布到任何流行的Linux机器上，使用docker去安装hadoop集群，可以快速的线性扩展机器，可以快速的实现部署。本文使用docker快速的搭建伪分布式的Hadoop集群用于代码的开发和测试，生产环境的部署需要使用更多的工具或者其它技术实现快速的部署和docker的管理。第一步：docker的...
2019-11-02 17:01:46
854
原创 ssh 远程执行zookeeper启动脚本不能正常运行(java.io.EOFException)
编写zookeeper远程执行脚本过程中出现，zookeeper进程不能正常启动的问题：进入配置文件conf目录下，查看zookeeper.out文件，内容如下所示：问题：通过分析异常代码可以看出是java异常的问题，没有找到java的路径解决方案：在配置文件中加入java的路径打开文件 vi /etc/profile# java_home# javaexport JAVA_HOME...
2019-10-30 17:08:20
4011
原创 pycharm远程连接服务器中的docker容器的配置
pycharm远程连接服务器中的docker容器第一步：服务器中安装docker以及docker容器的运行1.1docker的安装docker的安装可以参照阿里云的教程， 阿里云安装教程,包含docker在Ubuntu和centos系统的安装教程https://help.aliyun.com/document_detail/60742.html1.2docker的运行**docker的...
2019-10-28 12:14:05
3377
2
原创 zookeeper的分布式安装以及启动脚本
第一步：zookeeper安装包的下载链接地址，可以根据自己的需要下载相对应的版本，https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/第二步：安装包的解压# 解压安装包到当前的目录tar -zxvf zookeeper-3.4.9.tar.gz# 或者解压安装包到指定的目录tar -zxvf zookeeper-3.4.9.ta...
2019-10-28 09:43:27
473
1
原创 pip执行命令过程报错-SyntaxError: invalid syntax
pip执行命令过程中出现错误，异常代码如下：Traceback (most recent call last): File "/usr/bin/pip", line 7, in <module> from pip._internal.main import main File "/usr/lib/python2.6/site-packages/pip/_interna...
2019-10-24 18:30:49
3557
原创 spark运行出现py4j.protocol.Py4JError异常
spark配置启动过程中出现：py4j.protocol.Py4JError: An error occurred while calling None.None. Trace:Authentication error: unexpected command.异常的代码：ssh://[email protected]:22/root/miniconda2/envs/ai/bin/pyt...
2019-10-17 15:08:08
10761
1
原创 pycharm远程连接服务器调用spark的配置及异常处理
spark的运行环境配置：第一步：pycharm远程连接服务器之后，配置python解释器的路径（可以是自己本地服务器的Python路径或者虚拟环境中的Python解释器路径），样例是远程连接的虚拟环境第二步：将spark安装目录python目录下面的pyspark文件夹复制到python的解释器所在的安装目录的site-packages包中:本地服务器python解释器的site-pa...
2019-10-17 12:52:27
1956
2
原创 kafka 单节点的单broker和多broker的安装以及集群的安装
Apache Kafka 是一个开源消息系统，由 Scala 写成。是由 Apache 软件基金会开发的一个开源消息系统项目。Kafka 是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。官网：http://kafka.apache.org/，官网可以查看Kafka的介绍。本文主要介绍hadoop集群中Kafka的单...
2019-10-15 16:51:46
687
原创 kafka启动异常kafka.common.InconsistentBrokerIdException
kafka在搭建完全分布式集群的过程中，主机把Kafka包发送到从机，修改配置文件后出现kafka进程启动失败的情况，异常的代码如下所示：[2019-10-14 11:08:51,263] INFO Client environment:java.io.tmpdir=/tmp (org.apache.zookeeper.ZooKeeper)[2019-10-14 11:08:51,263] I...
2019-10-14 12:11:24
2040
1
原创 flume启动过程中配置错误出现的异常问题
java.lang.NullPointerException: hdfs.path is required19/10/11 17:20:48 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting19/10/11 17:20:48 INFO node.PollingPropert...
2019-10-12 16:26:37
9478
1
原创 flume开启过程中出现RPC connection error异常
两台服务器master和slave的日志采集过程出现RPC connection error的问题：可能存在的配置问题：1.检查机器的防火墙是否关闭；2.检查ip地址的设置问题3.检查自己flume服务器的开启顺序；4.检查自己配置文件的内容代码是否正确。可以按照顺序依次排查自己的异常所在。服务器防火墙的设置命令如下：# 查看防火墙状态service iptables statu...
2019-10-11 15:14:02
2340
原创 centos6.5服务器的安装和配置
centos6.5可以作为自己开发测试使用的服务器，本文将详细说明，安装的配置和步骤，仅供参考，根据自己的实际需求可做适当的调整。1.准备基础软件包VMware软件，链接：https://www.vmware.com/cn.htmlcentos6.5 ，链接：https://www.centos.org/download/1.1虚拟机的创建点击创建新的虚拟机选择自定义，...
2019-09-29 14:32:33
1500
原创 hive启动出现java.net.URISyntaxException
hive启动时出现java.net.URISyntaxException异常，异常代码：Logging initialized using configuration in file:/export/servers/hive-2.3.6/conf/hive-log4j2.properties Async: trueException in thread "main" java.lang...
2019-09-29 10:06:39
515
原创 pyspark 启动env: /usr/local/python3/bin: Permission denied
使用本机安装的python3的路径，启动出现的错误如图所示问题是：设置的安装路径的问题修改spark-env.sh配置文件中PYSPARK_PYTHON的路径即可，将路径修改为红线所示的路径，修改结果如图所示：...
2019-09-27 17:30:37
5766
原创 spark集群安装出现master: failed to launch: nice -n 0错误
spark集群启动之后出现如图所在红线的异常情况解决方案：在配置文件中加入java jdk的安装路径重新启动spark集群即可。# 在配置文件中加入java jdk的安装路径vim ~/.bashrcexport JAVA_HOME=/export/servers/jdk1.8.0_221master主机的进程都正常启动从机slave01,slave02的进程也都...
2019-09-26 17:28:50
1825
原创 启动hbase出现Java HotSpot(TM) 64-Bit Server VM warning
分布式hbase启动异常提醒分布式hbase启动过程出现Java HotSpot(TM) 64-Bit Server VM warning提醒异常，主要是因为使用的JAVA JDK版本问题，JDK8+以上的版本不需要如下图所示的红框内的两行代码，即注释每台机器hbase中conf目录下的hbase-env.sh配置文件中的代码，重新启动habse就ok。注释hbase-env.sh配置文件...
2019-09-24 10:54:51
10852
原创 多台机器的时钟同步
时钟同步的方式有两种：第一种同步方式通过网络进行时钟同步，第二种方式通过某台机器进行同步。本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤：本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台，解决三台机器之间的时间同步的问题，主机master的IP为192.168.141.130，从机slave01的IP为192.168.141.140，从机slave0...
2019-09-23 10:48:12
2575
转载 web中静态资源和动态资源的概念及区别
1.静态资源和动态资源的概念简单来说：静态资源：一般客户端发送请求到web服务器，web服务器从内存在取到相应的文件，返回给客户端，客户端解析并渲染显示出来。动态资源：一般客户端请求的动态资源，先将请求交于web容器，web容器连接数据库，数据库处理数据之后，将内容交给web服务器，web服务器返回给客户端解析渲染处理。2.静态资源和动态资源的区别a.静态资源一般都是设计好的h
2017-11-09 21:21:19
31075
5
nltk_data.zip
2020-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人