自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 基于搜狗新闻语料库的词向量模型训练(Windows下)

一、语料库下载搜狗实验室官网:http://www.sogou.com/labs/resource/list_pingce.php为了使训练的模型有足够的泛化能力,得到更好的词向量表示,因此在这里下载的是完整版的语料库。.dat文件百度云链接:https://pan.baidu.com/s/1ksDyNeREwibF-Sv7cVlPng提取码:ptvl二、数据预处理将数据解压缩后得到一个news_sohusite_xml.dat文件,在git bash下找到.dat的目录,运行命令:cat

2020-08-13 10:21:00 1629 2

原创 Kafka集群环境搭建

(此篇默认Kafka普通环境已经搭建好)一、Jdk的安装二、Zookeeper的安装配置1、在之前搭建好的zookeeper环境基础上进行集群环境的配置。修改zoo.cfg文件,在文件末尾添加如下内容:server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:38902、复制粘贴完整...

2019-11-27 15:27:33 275

原创 python将json数据存入MySQL中

一、准备工作:安装MySQL;安装数据库操作工具,我使用的是MySQL-Front;已经爬取好了的json文件,之前有写过,这里直接拿来用。二、import jsonimport pymysqldef prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.f...

2019-11-21 15:38:16 3501

原创 python操作kafka简单实例

一、在cmd窗口下 pip install kafka-python二、在pycharm中创建producer_testfrom kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='localhost:9092') #连接kafkamsg = "Hello, kafka".encode('...

2019-11-20 20:32:54 1873 3

原创 简单的python爬虫

以爬取猫眼电影为例:反爬虫操作:User-Agent伪装成通过浏览器浏览网页,User-Agent获取过程:在目标网页处按键F12,点击Network框,在出现的开发者界面中刷新当前界面,在出现的Request Header中找到User-Agent的值,复制下来:(这里的User-Agent是任选网站的User-Agent,内容不具参考价值)完整代码如下:import requests...

2019-10-21 11:28:59 538 1

原创 win10下运行kafka

操作步骤启动zookeeper启动kafka创建Topic命名为myl启动生产者,发送消息启动消费者,接收消息

2019-09-26 17:52:04 155

原创 windows10下kafka环境搭建

一、准备工作jdk安装zooKeeper安装二、安装过程下载地址:官网 http://kafka.apache.org/downloads.html下载之后解压,放至指定目录。例如:D:\kTools\kafka_2.12-2.3.0建立一个空白文件夹logs。eg:D:\kTools\kafka_2.12-2.3.0\logs5.进入config文件夹,编辑se...

2019-09-26 17:20:53 186

原创 安装jdk后cmd窗口下javac没反应java有反应的解决方法

以win10系统为例——“我的电脑” - “属性” -“高级系统设置” -“环境变量”JAVA_HOME = C:\Program Files\Java\jdk1.8.0_171 (此处为自己jdk安装的位置)系统变量中Classpath = .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar(注意前面的.一定要有,一个符号都不能出错)Pa...

2019-09-26 11:38:38 5101 14

原创 Windows环境下的zookeeper安装与测试

zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。在学习与探索的过程中。一、准备工作jdk环境jdk文件下载:链接:https://pan.baidu.com/s/1FRBLhc07QqL6v76IANK8NA提取码:fee6zookeeper安装包:链接:https://pan.baidu.com/s/1jMnsP6EUCOcJRNuDQdproA提取码:ck...

2019-09-25 12:43:48 206

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除