2018年07月_blerli

原创通过xshell连接虚拟机中的ubuntu

1：xshell2：vmware3：ubuntu虚拟机的安装4：一般ubuntu中没有net-tools包和ssh服务：net-tools是让我们能够使用ifconfigssh能让我们有ssh功能通过ssh 用户名@ip地址就可以连接了，只需要输入密码就行了；连接云服务器也是相同的； ...

2018-07-29 10:11:44 271

原创 nginx是什么，能做什么，tengine于它的关系，网站设计的优化方法

一说到nginx我们可能想到它跟服务器挂钩：那么具体他有哪些功能呢：1：反向代理2：负载均衡3：资源服务器：接下来具体说说不同功能下都做了哪些事情：一说到反向代理我们可能会想到的是代理了，那么代理和反向代理的区别到底是什么呢：我们一般说到的代理很大程度上跟翻墙相关了，也就是说利用墙外面的未被墙屏蔽的服务器（说白了就是电脑）利用它来连接墙外面的网络；这样可以隐藏客户端...

2018-07-29 10:05:34 431

原创 git 团队合作的使用方法以及与传统SVN的区别：

我们先来聊一聊git和svn的区别把：首先git是一个分布式的（distribute）也就是团队之间的成员不仅能够共享代码从管理git上pull或者是push代码，并且他对成员的代码提交过程记录特别的好；当然SVN也有这些功能，但是为什么说git要更好一些呢：问题就出在分布式这上面；git的历史操作追溯不仅保留在服务其上，并且也保存在团队的每一个成员的本地，也就是说服务器挂了，...

2018-07-29 09:36:21 202

原创 windows下MongoDB的安装与配置

首先需要进入官网：下载链接：https://www.mongodb.com/download-center?jmp=nav#community下载下来之后就是下一步---》》下一步的事了，（在这中间有一步是让是否把mongodb加入到服务中去）windwos比较好的一点就是他会帮你配置好东西，帮你把服务加到windows的服务中去；最后一点就是指定数据的存储位置了：首先进入m...

2018-07-29 08:43:29 129

最近在做数据处理的一些事情，写一下自己的一些处理方式，可能会比较low，我这份数据是关于售卖房屋的方面的数据：从数据库转存的csv文件，有三百多列，也就是有300多个特征，并且数据的缺失值特别严重，拿到这样一份残缺不全的数据我也是很苦恼，先看一下我的处理方式，我进行数据处理用的是pandas库，大致浏览了一下数据，缺失很多，首先我们需要先统计出每一列的缺失情况，1：由于我的数据最终是要用于去训练模...

2018-07-14 21:56:59 5357 1

原创 pandas Series

从实际意义上说pandas的DataFrame结构是一个矩阵，但是他又不是矩阵，DataFrame 和Series，Series其实是DataFrame的一列数据，多个Series组成了一个DateFrame结构；通过Series可以给一列中的某一个值指定一个索引：如：series_custom= Series（price.value,index=house_info['province'].va...

2018-07-10 19:28:20 151

原创 pandas 自定义函数

虽然说pandas里面确实有很多内置的函数了，但是也不可能满足所有的需求，所以有些时候我们也需要自己定义一些函数来满足自己的需求：那么该如何定义呢：定义之后又该如何用呢：对于函数的定义就很简单了，python自定义函数一样，但是在使用他的时候就需要用到apply了：如：算出每一列空值的个数：def null_count(column): column_null = pd.isnull(col...

2018-07-10 19:17:37 1921

原创 python pandas 做数据预处理

1：对于na数据的操作； 1）：dropna() 2):fillna() #可以用均值，众数，中位数填充2:统计关联到某一列

2018-07-10 18:58:53 286

原创 pandas获取指定的列和行

house_info = pd.read_csv('house_info.csv')1：取行的操作：house_info.loc[3:6]类似于python的切片操作2：取列操作：house_info['price'] 这是读取csv文件时默认的第一行索引3：取两列house_info[['price',tradetypename']] 取多个列也是同理的，注意里面是一个list的列表，不然会报...

2018-07-09 21:42:09 174614 3

原创 python pandas的一些操作

现在网上的数据集一般都是csv文件形式的；这里就以csv文件为例进行操作：首先读取csv文件:import pandas as pdhouse_info = pd.read_csv('house_info.csv')2：怎样查看csv文件里面都有哪些类型的数据：print(house_info.dtypes)注意一点就是pandas的string类型的数是object类型的数；3：常用的读文件的操...

2018-07-09 21:24:20 243

原创 numpy中的一些函数操作

1常见函数操作：np.exp(b)np.sqrt(b）np.ones((2,3))2:把多维的矩阵压缩成一维的向量：方法有三种： 1）：b.ravel()2):b.flatten()3:还有reshape函数reshape(1,x)3:矩阵的行拼接和列拼接：np.vstack((b,c)) 行拼接np.hstack((b,c))列拼接4:切分数据：也有两种，按行按列切分1：np.hsplit...

2018-07-09 19:48:18 227

原创 python numpy 库的一些常用操作

numpy是python的科学计算库之一；非常适合用于矩阵的运算，他的核心就是ndarray；那么他都有那些操作呢：1：首先就是读取文件了，举一个经常操作的文件类型.csv文件使用的是genfromtxt('filename',dtype),但是我们一般不用numpy来读文件有一个建立在numpy基础之上的pandas库更适合来读取文件，并对文件进行处理：2：如果用array定义数组，传进来的是一...

2018-07-09 19:33:09 435

原创 DNNLinearConbinedRegressor的feature_column

DNNLInearConbinedRegressor 的feature_column 与其他同在tf.estimator 下的模型都一样，知识它下面的不同的方法适用方法都不一样，1：对于线性模型来说稀疏的和密集的tensor都可以2：对于DNN模型则只能接受密集的tensor那么接下来就来介绍一下该包下面都可以处理什么样的特征：再说一下feature_column 的作用，其实很简单，就是在真实的...

2018-07-05 22:49:11 205

原创 tf.estimator.DNNLinearConbinedRegressor实现一个小的demo

对于输入是一个售房信息只取了两个特征：label为房屋多少天卖出去：模型定义：estimator = tf.estimator.DNNLinearCombinedRegressor( linear_feature_columns=[tf.feature_column.numeric_column('x', shape=[3])], ...

2018-07-04 15:46:35 909

原创 tf.estimator库

说到tf.estimator库，我们就不得不说tensorflow最原始的使用方法了：一般情况下对于一组数据，包含很多的特征值（连续的数据，和非连续的类型）传统的tensorfow实现方法则是，把数据取出来之后自己进行特征的处理和加工；然后用我们定义的模型通过tf.placeholder这个变量把把我们处理后的数据喂养给我们的模型；这样是不是感觉很麻烦？那么有没有简化的方法呢，没错，tensorf...

2018-07-04 15:36:28 1525

原创 FailedPreconditionError (see above for traceback): Attempting to use uninitialized value Variable:

init_op = tf.global_variables_initializer() ,虽然此处定义了初始化,但是不需要run才能生效;sess.run(init_op)

2018-07-01 22:50:52 1250

原创 must be a string or Tensor.

在tensorflow中在用placeholder初始化变量之后，需要用feed_dict在后面传入变量的值；而这个变量智能接受字符或者是Tensor类型的张量；而我们传入的数据经常是一个通过numpy.array申明的一个数组，所以类型不符合，所以我们需要将他转化成Tensor类型的数据；这样就可以了...

2018-07-01 22:48:47 819

原创 ValueError: Only call `softmax_cross_entropy_with_logits` with named arguments (labels=..., logits=.

解决办法：错误提示中已经给出，只能使用命名参数的方式来调用,也就是说需要加上参数名称。调用函数改为：tf.nn.softmax_cross_entropy_with_logits(labels=logits, logits=tf_train_labels)即可。...

2018-07-01 22:39:18 310

原创 tf.argmax

这个函数有两个重要参数：tf.argmax(x，维度）其中x是一个矩阵，维度可以0，1，2等；像tf.argmax(x,0)就是在行里里面比较大小，并返回最大值的下标，1：则为按列比较大小，并返回最大值的下标2：在第3维度比较大小，并返回该维度最大值的下标...

2018-07-01 22:37:35 145

原创 TypeError: 'function' object is not subscriptable

在tensorflow中使用零矩阵初始化变量的时候出现的：b = tf.Variable(tf.zeros[1])这是由于tf.zeros是一个函数，应该有括号，所以应该改为tf.zeros([1])像这种问题TypeError: 'function' object is not subscriptable一般都是由于函数没加括号导致的；...

2018-07-01 22:31:49 49791 2

原创 TypeError: not all arguments converted during string formatting

这是在格式化输出的时候出现的问题，需要在格式化的数据后面机上一个逗号

2018-07-01 22:29:23 300

原创 tensorflow l两种常见随机函数：tf.random_normal,tf.random_uniform

1：tf.random_normal:正态分布产生的随机值：常用的参数就是shape，和dtype了，但是也包括方差和均值；参数（shape,stddev,mean,dtype)2:tf.random_uniform 默然是在0到1之间产生随机数：但是也可以通过maxval指定上界，通过minval指定下界...

2018-07-01 22:25:55 5678

原创 AttributeError: enter

这个问题就是在使用：tensorflow的过程中，with tf.Session as sess:应该在Session 后面加上括号：with tf.Session() as sess:

2018-07-01 22:16:37 3315

原创 tensorflow中模型保存：tf.train.Saver.save,tf.train.train.Saver.restore

在模型的保存中我遇到过一次坑：先留一下悬念，我们先说一下怎样保存模型和怎样导入模型：模型的保存；代码如下：首先需要申明一个Saver对象：saver = tf.train.Saverwith tf.Session as sess: saver.save(sess,'save_path')这里save_path 就很容易出现：Parent dictionary is not exiting ...

2018-07-01 22:12:40 2847

原创 tf.random_shuffle

tf.random_shuffle:沿着张量的第一维度随机打乱张量；如：[[1,2], [[5,6],[3,4], [1,2],[5,6]] ----->>>[3,4]]

2018-07-01 21:54:58 1462

weixin_38859557的博客