qq_33905939的博客

转载 内存屏障（转）

什么是内存屏障(Memory Barriers)memory barriers内存屏障是一种底层原语，在不同计算机架构下有不同的实现细节。本文主要在x86_64处理器下，通过Linux及其内核代码来分析和使用内存屏障对大多数应用层开发者来说，“内存屏障”（memory barrier）是一种陌生，甚至有些诡异的技术。实际上，他常被用在操作系统内核中，用于实现同步机制、驱动程序等。利用它，能实现高效的无锁数据结构，提高多线程程序的性能表现。本文首先探讨了内存屏障的必要性，之后介绍如何使用内存屏障实现

原创 操作符重载函数原型推荐写法

原创 ES查询笔记（附python语句）

terms查询需要将查询条件转成小写，并且查询时会自动去除停用词。(用terms查询build the wall会查不到，因为the是停用词，查询的时候去掉了。) terms查询的查询条件是list列表，不是字符串；match和match_phrase查询的查询条件是str字符串"query": { "bool": { "must": [{ "terms": {

转载 python的安装镜像

常用的镜像地址有：1)http://mirrors.aliyun.com/pypi/simple/阿里云2)https://pypi.mirrors.ustc.edu.cn/simple/ 中国科技大学3) http://pypi.douban.com/simple/豆瓣4) https://pypi.tuna.tsinghua.edu.cn/simple/清华大学5)http://pypi.mirrors.ustc.edu.cn/simple/中国科学技术...

原创 MongoDB查询学习笔记

db.collection.find()查询数据语法：db.collection.find(query,projection)query是查询条件，projection是返回的字段projection的语法：{field1:<boolean>,field2:<boolean>...} field是指表的字段名，1表示返回该字段，0表示不返回该字段，如果projection不写，默认全部返回，如果某字段不写，默认该字段不返回（_id字段默认返回）...

原创 skip-gram的理解

推荐一篇文章： https://www.jianshu.com/p/da235893e4a5Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。本篇文章仅讲解Skip-Gram模型。对于skip-gram，它的训练方式大致是这样的：输入的是一个词的one-hot编码，这个编码是相当稀疏的，所以当这个one-hot与权重w相乘之后，就会有一个类似于look.

原创 Anaconda环境搭建（附无意中改动了bashrc文件的修改方法）

简单说一下windows系统：anaconda安装地址：官网：https://www.anaconda.com/download/清华大学镜像（快一点）：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/修改系统配置的路径打开控制面板-->系统和安全-->系统-->高级系统设置-->环境变量，添加一下Anaconda安装目录下的Script文件地址即可（比如D:\application\Anaconda3\S.

原创 MongoDB的安装及使用

由于要存储的数据字段不确定，存在json数据，本打算安装mysql5.7+，但调研了一下发现mysql这种关系型数据库查询json数据不太方便（尤其是条件查询），所以打算用nosql数据库，听说mongoDB很流行，就安装了这个。MongoDB安装：官网下载https://www.mongodb.com/download-center#community，在software里选择社区版（...

原创 第一次用selenium时踩过的坑

先说一下selenium chrome的安装：首先你要有chrome浏览器，而且版本要和接下来下载的chromedriver一致下载chromedriver：https://sites.google.com/a/chromium.org/chromedriver/home安装selenium的jar包：方法一：https://www.selenium.dev/downloads/选...

原创 SimHash算法原理

一、什么是SimHashSimHash算法是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling》中提到的一种指纹生成算法，被应用在Google搜索引擎网页去重的工作之中。简单的说，SimHash算法主要的工作就是将文本进行降维，生成一个SimHash值，也就是论文中所提及的“指纹”，通过对不同文本的SimHash值进而比较海...

原创 pyltp的安装及使用（win10+ubuntu16.04）

安装两种方式：pip install pyltp(据很多人说不太好使，很多坑) wheel安装，因为我的python是3.6，所以下载了pyltp-0.2.1-cp36-cp36m-win_amd64.whl来安装，然后在wheel所在的地方pip就可以了模型使用里面的预训练模型，需要先下载，然后指定相应目录 - 下载地址：ltp.ai/download.html注意：ltp3.4...

原创 anaconda创建tensorflow环境，以及解决HTTPerror问题

出错内容：解决方式：换成清华的镜像conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-...