- 博客(12)
- 收藏
- 关注
RSS订阅转载 python解析浏览器UA
一个非常神奇的包可以帮助我们优雅的解析浏览器的UA，他的名字叫做user_agentspip install pyyaml ua-parser user-agents>>> ua_string = 'Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko...
2018-04-20 14:42:15
2203
原创 逻辑回归的激活函数为什么取对数
因为逻辑回归服从二项分布，我们需要选择一个对于这个分布最佳的连结函数。所以就选择了logit函数。我们通过观测样本的极大似然估计值来选择参数（这就是和线性回归不同的地方，线性回归选择均方误差作为损失函数）...
2018-04-18 13:34:08
1890
原创 极大似然估计通俗的理解
我不会罗列公式，用自己所理解的方法说一下什么事极大似然估计（不喜随便喷，反正我也不生气）极大似然估计：举一个被举烂了的形象又生动的例子-抛硬币。假设我抛了100次硬币，结果有59次正面向上，40次反面向上，还有1次竖直向上(就是这么巧，你说气不气)。那按照极大似然估计的说法，我们就会认为硬币正面朝上的概率为59/100,反面朝上的概率为40/100,竖直向上的概率为1/100。而大家都知道正常硬币...
2018-04-18 13:27:18
477
原创 MySQL格式化小数点为百分号并保留2为小数
#colname为字段名字，concat的作用是把小数点转成百分号，truncate的作用是保留百分号的小数点成几位concat(truncate(colname*100,2),'%') as colname
2018-04-10 15:20:44
4307
原创 linux文件权限查看及修改
1、查看文件的权限ls -l filename内容解读：最前面那个 - 代表的是类型 中间那三个 rw- 代表的是所有者（user） 然后那三个 rw- 代表的是组群（group） 最后那三个 r-- 代表的是其他人（other） r 表示文件可以被读（read） w 表示文件可以被写（write） x 表示文件可以被执行（如果它是程序的话） - 表示相应的权限还没有被授予 2...
2018-04-09 10:46:27
383
原创 pyspark环境配置
前提：1、Ubuntu系统2、spark已经安装好过程：(修改配置文件，添加到Path中 。修改BASH配置，将Spark添加到PATH中，设置SPARK_HOME环境变量。)1、编辑~/.bash_profile或~/.profile文件，将以下语句添加到文件中 (根据自己spark的路径添加)export SPARK_HOME=/srv/sparkexport PATH=$SPARK_HOME...
2018-04-03 18:32:22
510
原创 ftp基本命令
1、ftp连接ftp 192.168.10.12、下载文件到本地get /user/***/filename filenane3、上传文件put filename /user/***/filename4、退出ftpbye
2018-04-02 11:39:12
441
原创 Spark提交作业运行原理及其参数设置
运行原理：样例：/opt/spark/bin/spark-submit \--conf spark.num.executors=4 \--conf spark.executor.memory=16g \--conf spark.executor.cores=4 \--conf spark.debug.maxToStringFields=1024 \--conf spark.driver.memo...
2018-03-27 16:29:41
1654
原创 linux显示所有进程（包含后台进程）
top可以显示所有进程，再利用kill，就可以杀掉进程[root@l-dm2.prod.qd1 ~]$ top
2018-03-27 14:42:45
1535
原创 管理MySQL用户权限
新建用户：mysql -u root -p CREATE USER “test”@”localhost” IDENTIFIED BY “1234”; #本地登录 CREATE USER “test”@”%” IDENTIFIED BY “1234”; #远程登录 quit mysql -utest -p #测试是否创建成功给用户授权：grant 权限 on 数据库.* to 用户名@登录主机 id...
2018-03-26 19:05:52
143
原创 Windows配置maven环境
前提是已经装好Java并配置好了Java的环境变量下载 Maven 文件从以下网址下载 Maven 3.2.5：http://maven.apache.org/download.html解压 Maven 文件设置 Maven 环境变量添加 M2_HOME、M2、MAVEN_OPTS 到环境变量中。使用系统属性设置环境变量。M2_HOME=C:\Program Files\Apache Softwa...
2018-03-26 16:47:53
125
原创 Navicat连接MySQL报错10061和1130
服务器环境：腾讯云Ubuntu Server 16.04.1 LTS 64位本地环境：Win10 工具：Navicat 1、登录服务器，打开MySQL的配置文件 sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf，注释掉host_address = 127.0.0.12、进入MySQL，更改user表中root用户的host内容:use mysql;select...
2018-03-26 11:44:07
650
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人