SimonJ120-CSDN博客

原创《为什么》之概率论和因果关系

因果关系不能被简化为概率。不能使用概率提高来定义因果关系，如X提高了Y的概率，就说X导致了Y。如：鲁莽驾驶会导致交通事故，吸烟引发肺癌等。前者只是增加了后者发生的可能性，而非必然会让后者发生。如同啤酒和尿布，也如同冰激淋热销与犯罪率提高一样，都属于相关，还不能证明是因果。建构表达式P（Y|X，K=k）>P（Y|K=k），其中K代表背景变量。事实上，如果我们把温度作为背景变量，那么这个表达式的...

2020-03-13 22:18:28 1877

原创《为什么》迷你图灵测试描述

图灵测试从1950年开始，到2015年，25届比赛，没有一个程序能骗过所有裁判，甚至哪怕一半的裁判。掌握因果关系是创造类人智能的重要关键因素。我称之为“迷你图灵测试”，其主要思路是选择一个简单的故事，用某种方式将其编码并输入机器，测试机器能否正确回答人类能够回答的与之相关的因果问题。之所以称其为“迷你”，原因有二。首先，该测试仅限于考察机器的因果推理能力，而不涉及人类认知能力的其他方面，如...

2020-03-13 21:53:15 401

原创《为什么》贝叶斯之父对因果关系的描述

第一章因果关系之梯中提到因果关系的三个层级：观察能力、行动能力、想象能力。观察能力：发现环境中规律的能力。现在的人工智能算法基本是基于这个能力的。关联。计算机围棋程序在研究了包含数百万围棋棋谱的数据库后，便可以计算出哪些走法胜算较高，它所做的也是通过观察寻找规律。购买牙膏的顾客同时购买牙线的可能性有多大？有些关联可能有明显的因果解释，有些可能没有，好的预测无须好的解释行动能力：涉及预测对环...

2020-03-12 10:35:06 1264

原创网络科学那点事儿-02

前一偏文档刚说个头就跑题了，然后就是爬取数据，抽取关系去了。还尝试做个vue的前端，结果发现心大能力小，路漫漫其修远兮，我还得去努力啊。继续网络科学的事儿。接下来介绍了网络的基本概念：本质上图和网络可以等同理解，互联网上的机器，网站上的网页，人与人之间的关系，甚至细胞内蛋白质化学反应关系都可以用图来描述。节点就是网络中的点，边通过节点来描述，1-2之间的边等。边可以是带方向的，也可以是...

2020-03-11 20:28:46 3206

原创 neo4j-driver 常用操作

1、创建驱动对象实例from neo4j.v1 import GraphDatabaseuri = "bolt://localhost:7687"_driver = GraphDatabase.driver(uri, auth=("neo4j", "password"))_driver.close() #关闭连接。2、创建session对象Session的创建是一个轻量级的操...

2020-03-08 18:55:44 4101 1

原创说干就干-01

1、爬取了成语大全数据，样例：{ "_id" : ObjectId("5e648c7098f81742a13632b8"), "cy_name" : "层峦迭嶂", "cy_py" : "céng luán dié zhàng", "cy_js" : "峦：山峰；嶂：直立像屏障的山；层、迭：重复，一层加上一层。形容山峰起伏，连绵重迭。", "cy_cc...

2020-03-08 18:06:28 272

原创网络科学那点事儿-01

最近在看一本《巴拉巴西网络科学》，感觉一下从二维空间进入了多维空间，虽然还是从图论出发的图问题，但作者的描述中少了公式，多了点给我这种非专业人点活路，有点要感觉看明白了。好脑子不如烂笔头，有些关键的东西，还是风吹留声，雁过拓影为好。1、图论界的hello word歌尼斯堡的桥问题。能否不重复地走过每座桥？答案是不能。经过每座桥各一次的路径只能有一个起点和一个终点。因此，如果一幅图中拥有...

2020-03-08 11:50:06 252

原创 ant design那些东西

https://ant.design/index-cnhttps://antv.vision/zhhttp://vue.ant-design.cn/docs/vue/introduce-cn/https://graphin.antv.vision/zh很喜欢最后一个图关系的组件。

2020-03-07 21:34:09 102

原创 scrapy的sqlite3作为存储的pipeline

以sqlite3作为pipline的一段代码示例。比较通用，中间表名传递的死了点，应该弄一个字典方到setting，然后根据Item的实例，从字典中选择对应的表名进行处理。在一个缺点就是这个插入操作没有做处理，一个处理是先查询下是不是已经存在，存在就不用重复爬取了，一个是先删除在插入，可能会慢点，再一个就是靠表的唯一索引自己判断去，应该加一个try，catch下违反唯一索引的错误，然后就...

2020-03-07 21:15:04 345

原创 sqllite3数据库常见操作

1、导入模块import sqlite32、打开数据库con=sqlite3.connect("Test.db")不指定路径会在当前文件夹下。如果文件存在则打开，如果没有则自动创建。connect方法返回con对象，即数据库链接对象，提供一下方法。con.cursor() 创建一个游标对象con.commit() 提交事务con.rollback() 回滚事务c...

2020-03-07 21:05:07 487

原创 python爬虫框架

python爬虫框架包括了代码端和管理运行端。代码端毫无疑问，scrapy是我的最爱，单独写一个爬虫脚本，执行貌似没啥问题，但总感觉单爬虫的运行不够快，想玩玩分布式爬取。基于scrapy有一个scrapy-redis扩展（https://github.com/rmax/scrapy-redis），用于分布式爬取的。还一个Frontera（https://github.com/scrapingh...

2020-03-07 21:03:12 347

原创 01-一个不太切合实际的随想

最近迷上了网络科学，作为产品经理，产品的规划必然要涉及到各种技术堆栈，目前最喜欢python语言，所以突然想做一个全栈项目玩玩，明知这条路上全是坑，但感觉有时候踩踩坑感觉那么踏实，比走着一路坦途的心情好多了。本项目是我尝试全栈开发的尝试。项目包括了四个部分：1、爬虫部分：围绕政府部门爬取有关的数据。目前打算包括三个方面：综合数据、交通数据、招投标数据。数据存储到m...

2020-03-07 20:41:31 112

原创 ubuntu18.04安装和配置mongodb

来源于mongodb官方网站1、导入keywget -qO - https://www.mongodb.org/static/pgp/server-4.2.asc | sudo apt-key add -2、建立源listecho "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb...

2020-03-07 20:28:08 801

原创 ubuntu18.04安装和配置postgresql

来源于官方网站1、创建源list创建文件/etc/apt/sources.list.d/pgdg.list并在文件中增加以下内容deb http://apt.postgresql.org/pub/repos/apt/ bionic-pgdg main2、导入key并更新包wget --quiet -O - https://www.postgresql.org/media/k...

2020-03-07 20:27:08 440

原创 ubuntu18.04上jdk设置

1、下载好jdk的linux版本包，并上传到服务器2、解压jdktar zxvf jdk***.gz3、修改环境变量，nano ~/.bashrc增加内容：export JAVA_HOME=/home/simon/jdk1.8.0_60export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/li...

2020-03-07 20:26:25 111

原创 ubuntu18.04上neo4j-server版本安装

1、下载社区版本server软件包。2、解压缩3、./neo4j console 启动数据库 ./neo4j start4、配置远程访问/conf/neo4j.conf取消这个注释dbms.connectors.default_listen_address=0.0.0.0dbms.memory.pagecache.size=10gdbms.connectors.de...

2020-03-07 20:25:38 385

原创 ubuntu18.04上redis安装

来源linusconfig网站一、客户端安装1、sudo apt install redis-tools2、redis-cli -h hostname客户端安装后，就可以通过redis-cli命令远程连接到redis服务器了二、服务端安装1、suao apt install redis2、redis-server -v3、ss -nlt 默认端口6379sudo...

2020-03-07 20:24:27 179