- 博客(9)
- 收藏
- 关注
RSS订阅原创 基于搜狗新闻语料库的词向量模型训练（Windows下）
一、语料库下载搜狗实验室官网：http://www.sogou.com/labs/resource/list_pingce.php为了使训练的模型有足够的泛化能力，得到更好的词向量表示，因此在这里下载的是完整版的语料库。.dat文件百度云链接：https://pan.baidu.com/s/1ksDyNeREwibF-Sv7cVlPng提取码：ptvl二、数据预处理将数据解压缩后得到一个news_sohusite_xml.dat文件，在git bash下找到.dat的目录，运行命令：cat
2020-08-13 10:21:00
1643
2
原创 Kafka集群环境搭建
（此篇默认Kafka普通环境已经搭建好）一、Jdk的安装二、Zookeeper的安装配置1、在之前搭建好的zookeeper环境基础上进行集群环境的配置。修改zoo.cfg文件，在文件末尾添加如下内容：server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:38902、复制粘贴完整...
2019-11-27 15:27:33
277
原创 python将json数据存入MySQL中
一、准备工作：安装MySQL；安装数据库操作工具，我使用的是MySQL-Front；已经爬取好了的json文件，之前有写过，这里直接拿来用。二、import jsonimport pymysqldef prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.f...
2019-11-21 15:38:16
3510
原创 python操作kafka简单实例
一、在cmd窗口下 pip install kafka-python二、在pycharm中创建producer_testfrom kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='localhost:9092') #连接kafkamsg = "Hello, kafka".encode('...
2019-11-20 20:32:54
1883
3
原创 简单的python爬虫
以爬取猫眼电影为例：反爬虫操作：User-Agent伪装成通过浏览器浏览网页，User-Agent获取过程：在目标网页处按键F12，点击Network框，在出现的开发者界面中刷新当前界面，在出现的Request Header中找到User-Agent的值，复制下来：（这里的User-Agent是任选网站的User-Agent，内容不具参考价值）完整代码如下：import requests...
2019-10-21 11:28:59
542
1
原创 windows10下kafka环境搭建
一、准备工作jdk安装zooKeeper安装二、安装过程下载地址：官网 http://kafka.apache.org/downloads.html下载之后解压，放至指定目录。例如：D:\kTools\kafka_2.12-2.3.0建立一个空白文件夹logs。eg：D:\kTools\kafka_2.12-2.3.0\logs5.进入config文件夹，编辑se...
2019-09-26 17:20:53
189
原创 安装jdk后cmd窗口下javac没反应java有反应的解决方法
以win10系统为例——“我的电脑” - “属性” -“高级系统设置” -“环境变量”JAVA_HOME = C:\Program Files\Java\jdk1.8.0_171 （此处为自己jdk安装的位置）系统变量中Classpath = .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar（注意前面的.一定要有，一个符号都不能出错）Pa...
2019-09-26 11:38:38
5113
14
原创 Windows环境下的zookeeper安装与测试
zooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。在学习与探索的过程中。一、准备工作jdk环境jdk文件下载：链接：https://pan.baidu.com/s/1FRBLhc07QqL6v76IANK8NA提取码：fee6zookeeper安装包：链接：https://pan.baidu.com/s/1jMnsP6EUCOcJRNuDQdproA提取码：ck...
2019-09-25 12:43:48
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人