- 博客(9)
- 收藏
- 关注
原创 基于搜狗新闻语料库的词向量模型训练(Windows下)
一、语料库下载搜狗实验室官网:http://www.sogou.com/labs/resource/list_pingce.php为了使训练的模型有足够的泛化能力,得到更好的词向量表示,因此在这里下载的是完整版的语料库。.dat文件百度云链接:https://pan.baidu.com/s/1ksDyNeREwibF-Sv7cVlPng提取码:ptvl二、数据预处理将数据解压缩后得到一个news_sohusite_xml.dat文件,在git bash下找到.dat的目录,运行命令:cat
2020-08-13 10:21:00 1692 2
原创 Kafka集群环境搭建
(此篇默认Kafka普通环境已经搭建好)一、Jdk的安装二、Zookeeper的安装配置1、在之前搭建好的zookeeper环境基础上进行集群环境的配置。修改zoo.cfg文件,在文件末尾添加如下内容:server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:38902、复制粘贴完整...
2019-11-27 15:27:33 292
原创 python将json数据存入MySQL中
一、准备工作:安装MySQL;安装数据库操作工具,我使用的是MySQL-Front;已经爬取好了的json文件,之前有写过,这里直接拿来用。二、import jsonimport pymysqldef prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.f...
2019-11-21 15:38:16 3532
原创 python操作kafka简单实例
一、在cmd窗口下 pip install kafka-python二、在pycharm中创建producer_testfrom kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='localhost:9092') #连接kafkamsg = "Hello, kafka".encode('...
2019-11-20 20:32:54 1911 3
原创 简单的python爬虫
以爬取猫眼电影为例:反爬虫操作:User-Agent伪装成通过浏览器浏览网页,User-Agent获取过程:在目标网页处按键F12,点击Network框,在出现的开发者界面中刷新当前界面,在出现的Request Header中找到User-Agent的值,复制下来:(这里的User-Agent是任选网站的User-Agent,内容不具参考价值)完整代码如下:import requests...
2019-10-21 11:28:59 556 1
原创 windows10下kafka环境搭建
一、准备工作jdk安装zooKeeper安装二、安装过程下载地址:官网 http://kafka.apache.org/downloads.html下载之后解压,放至指定目录。例如:D:\kTools\kafka_2.12-2.3.0建立一个空白文件夹logs。eg:D:\kTools\kafka_2.12-2.3.0\logs5.进入config文件夹,编辑se...
2019-09-26 17:20:53 200
原创 安装jdk后cmd窗口下javac没反应java有反应的解决方法
以win10系统为例——“我的电脑” - “属性” -“高级系统设置” -“环境变量”JAVA_HOME = C:\Program Files\Java\jdk1.8.0_171 (此处为自己jdk安装的位置)系统变量中Classpath = .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar(注意前面的.一定要有,一个符号都不能出错)Pa...
2019-09-26 11:38:38 5177 14
原创 Windows环境下的zookeeper安装与测试
zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。在学习与探索的过程中。一、准备工作jdk环境jdk文件下载:链接:https://pan.baidu.com/s/1FRBLhc07QqL6v76IANK8NA提取码:fee6zookeeper安装包:链接:https://pan.baidu.com/s/1jMnsP6EUCOcJRNuDQdproA提取码:ck...
2019-09-25 12:43:48 218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人