中文词向量下载 https://github.com/Embedding/Chinese-Word-Vectors
用的是 "People's Daily News 人民日报 300d"
readline() 方法:
fileObject.readline()
用于从文件读取整行,包括 "\n" 字符。如果指定了一个非负数的参数,则返回指定大小的字节数,包括 "\n" 字符
fo = open("runoob.txt", "r+")
line = fo.readline()
split() 方法:
str.split(str="", num=string.count(str))
- str -- 分隔符,默认为所有的空字符,包括空格、换行(\n)、制表符(\t)等。
- num -- 分割次数。默认为 -1, 即分隔所有。
注:分割次数num可以设置很大,但是超过最大分割数量,也只会按照最大分割数量计算。
例如最大分割为5,num=10000,也只会分割5次
strip() 方法:
strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列
注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。
str = "00000003210Runoob01230000000"; print str.strip( '0' ); # 去除首尾字符 0
结果:3210Runoob0123
numpy.asarray()函数
np.asarray(a, dtype=None, order=None)
参数a:可以是,列表, 列表的元组, 元组, 元组的元组, 元组的列表,多维数组
参数dtype=None, order=None这两个都是可选参数
dtype:数据类型,默认的是自己从输入的数据自动获得。
order:有"C"和"F"两个选项,分别代表,行优先和列优先,在计算机内存中的存储元素的顺序。
将列表转换为数组
>>> a = [1,2]
>>> numpy.asarray(a)
array([1,2])
将数据类型转换为float和int
>>> a= [1,2]
>>> numpy.asarray(a,'f')
array([ 1., 2.], dtype=float32)
>>> numpy.asarray(a,'i') #'i'表示为dtype类型为int
array([1, 2], dtype=int32)
x = tf.Variable(0)
y = tf.assign(x, 1)
或
x = tf.Variable(12)
y = x.assign(34)
下载词向量的数据大,需要26G内存打开,截取一部分作为示例
3,300 其中词的个数,3个词,每个词300维
3 300
这 -0.225854 0.107560 0.197237 -0.163468 0.090813 0.040628 0.176729 -0.011261 -0.053033 0.037572 -0.155545 0.053847 0.131007 0.250081 -0.071398 -0.089812 -0.034247 0.078562 0.023870 0.159746 0.100427 0.021786 0.266321 0.004339 0.105988 -0.002758 0.119828 0.004190 -0.154152 0.087963 0.179135 0.041696 -0.150765 0.112602 -0.003246 -0.115960 0.042190 0.108845 0.138592 -0.270801 0.276069 -0.377507 -0.133841 0.225290 -0.