关闭

[置顶] 【python 图像压缩算法】opencv图像压缩

插值方法: CV_INTER_NN - 最近邻插值, CV_INTER_LINEAR - 双线性插值 (缺省使用) CV_INTER_AREA - 使用象素关系重采样。当图像缩小时候,该方法可以避免波纹出现。当图像放大时,类似于 CV_INTER_NN 方法.. CV_INTER_CUBIC - 立方插值. 函数 cvResize 将图像 src 改变尺寸得到与 dst 同样大小。若设定...
阅读(45) 评论(0)

[置顶] 【python 第三方包的安装】第三方包下载网站

下载网址 http://www.lfd.uci.edu/~gohlke/pythonlibs/有了这个以后,要用哪个库,再也不用到处找过来找过去了。而且都是编译好的whl文件,简单粗暴!...
阅读(26) 评论(0)

[置顶] 【数据科学】总结 --数据工作的科普

一、数据获取1.爬虫:这个不用多解释了,就是从网页上爬取数据,比如爬取一个京东的三级品类的数据、爬拉勾网的职位信息数据。这个主要是网络编程,细节点主要是header、cookie、get/post请求、失败重试、验证码、重定向等,总之除了把数据从网页上抽取出来就是如何伪装自己是一个“人”在请求而不是机器自动发送的请求。至于破解验证码,简单的ocr能搞定(就是慢),自己写一个图像识别的算法也可以去尝试...
阅读(34) 评论(0)

[置顶] 【excel 函数】常用的Excel函数

函数可以被我们想象成一个盒子,专门负责将输入转换成输出,不同的函数对应不同的输出。清洗处理类:trim、concatenate、replace、substitute、left/right/mid、len/lenb、find、search、text关联匹配类:lookup、vlookup、index、match、row、column、offset逻辑运算类:if、and、or、is系列计算统计类:su...
阅读(33) 评论(0)

[置顶] 【mysql 数据迁移】mysql中同一服务器,要从一个数据库里复制一个表到另一个数据库

mysql 同一个服务中,两个数据库A,Bcreate table b.table1 as select * from a.table1...
阅读(41) 评论(0)

[置顶] 【mysql 数据迁移】 mysql 把数据库从一个服务器复制到另一个服务器

1,把sampdb数据库从本地主机复制到远程主机121.121.121.121上的mysql服务上去。 mysqldump –databases sampdb | mysql -h 121.121.121.121 2,如果本地主机无法访问远程mysql服务器但能够通过登录远程主机的办法访问它,就可以通过ssh来远程调用mysql程序。 mysqldump –databases sampdb |...
阅读(1336) 评论(0)

[置顶] 【R语言 数据分析】多重共线性问题

1、什么是多重共线性? 多重共线性(Multicollinearity)是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。2、多重共线性对回归模型的影响@1、完全共线性下参数估计量不存在 @2、近似共线性下OLS估计量非有效 @3、参数估计量经济含义不合理 @4、变量的显著性检验失去意义,可能将重要的解释变量排除在模型之外 @5、模型的预测功...
阅读(2050) 评论(0)

[置顶] 【Hadoop--04】Hadoop读文件

1、客户端向NameNode发送读取请求2、NameNode返回文件的所有block和这些block所在的DataNodes(包括复制节点)3、客户端直接从DataNode中读取数据,如果该DataNode读取失败(DataNode失效或校验码不对),则从复制节点中读取(如果读取的数据就在本机,则直接读取,否则通过网络读取)...
阅读(370) 评论(0)

[置顶] 【Hadoop--03】HDFS写文件

1.客户端将文件写入本地磁盘的N#x4E34;时文件中2.当临时文件大小达到一个block大小时,HDFS client通知NameNode,申请写入文件3.NameNode在HDFS的文件系统中创建一个文件,并把该block id和要写入的DataNode的列表返回给客户端4.客户端收到这些信息后,将临时文件写入DataNodes4.1 客户端将文件内容写入第一个DataNode(一般以4kb为单...
阅读(72) 评论(0)

[置顶] 【Hadoop--02】Hadoop HDFS是什么?

Hadoop - HDFS简介 Hadoop Distributed File System,分布式文件系统架构Block数据&##x5757;基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;2)减少管理块的数据开销,每个块都需要在NameNode上有对应的记录;3)对数据块进行读写,减少建立网络的连接成本)一个大文件...
阅读(44) 评论(0)

[置顶] 【Hadoop--01】Hadoop简介

Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点特别适合写一次,读多次的场景。适合 大规模数据 流式数据(写一次,读多次) 商用硬件(一般硬件)不适合 低延时的数据访问 大量的小文件 频繁修改文件(基本就是写1次)Hadoop架构HDFS: 分布式文件存储 YARN: 分布式资源管理 MapReduce: 分布式计算 Others: 利用YARN的资源管...
阅读(2116) 评论(0)

[置顶] 【DL--07】深度学习基本概念—epochs

epochs 一个epoch是指把所有训练数据完整的过一遍 真的不是很想解释这个词,但是新手问的还挺多的…… 简单说,epochs指的就是训练过程中数据将被“轮”多少次,就这样。...
阅读(2012) 评论(0)

[置顶] 【DL--06】深度学习基本概念—batch

batch这个概念与Keras无关,老实讲不应该出现在这里的,但是因为它频繁出现,而且不了解这个技术的话看函数说明会很头痛,这里还是简单说一下。深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch...
阅读(1181) 评论(0)

[置顶] 【DL--05】深度学习基本概念—函数式模型

函数式模型函数式模型算是本文档比较原创的词汇了,所以这里要说一下在Keras 0.x中,模型其实有两种,一种叫Sequential,称为序贯模型,也就是单输入单输出,一条路通到底,层与层之间只有相邻关系,跨层连接统统没有。这种模型编译速度快,操作上也比较简单。第二种模型称为Graph,即图模型,这个模型支持多输入多输出,层与层之间想怎么连怎么连,但是编译速度慢。可以看到,Sequential其实是G...
阅读(722) 评论(0)

[置顶] 【DL--04】深度学习基本概念—data_format

data_format这是一个无可奈何的问题,在如何表示一组彩色图片的问题上,Theano和TensorFlow发生了分歧,’th’模式,也即Theano模式会把100张RGB三通道的16×32(高为16宽为32)彩色图表示为下面这种形式(100,3,16,32),Caffe采取的也是这种方式。第0个维度是样本维,代表样本的数目,第1个维度是通道维,代表颜色通道数。后面两个就是高和宽了。这种thea...
阅读(892) 评论(0)

[置顶] 【DL--03】深度学习基本概念—张量

张量张量,或tensor,是本文档会经常出现的一个词汇,在此稍作解释。使用这个词汇的目的是为了表述统一,张量可以看作是向量、矩阵的自然推广,我们用张量来表示广泛的数据类型。规模最小的张量是0阶张量,即标量,也就是一个数。当我们把一些数有序的排列起来,就形成了1阶张量,也就是一个向量如果我们继续把一组向量有序的排列起来,就形成了2阶张量,也就是一个矩阵把矩阵摞起来,就是3阶张量,我们可以称为一个立方体...
阅读(2124) 评论(0)

[置顶] 【DL--02】深度学习基本概念--符号计算

符号计算Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Theano还是TensorFlow,都是一个“符号式”的库。因此,这也使得Keras的编程与传统的Python代码有所差别。笼统的说,符号主义的计算首先定义各种变量,然后建立一个“计算图”,计算图规定了各个变量之间的计算关系。建立好的计算图需要编译以确定其内部细节,然而,此时的计算图还是一个“空...
阅读(250) 评论(0)

[置顶] 【DL--01】深度学习 揭开DL的神秘面纱

什么是深度学习 深度学习=深度神经网络+机器学习 人工智能 > 机器学习 > 表示学习 > 深度学习神经元模型 输入信号、加权求和、加偏置、激活函数、输出 全连接层 输入信号、输入层、隐层(多个神经元)、输出层(多个输出,每个对应一个分类)、目标函数(交叉熵) 待求的参数:连接矩阵W、偏置b 训练方法:随机梯度下降,BP算法(后向传播)Python中深度学习实现:Keras 官网...
阅读(3419) 评论(0)

[置顶] 【ML--05】第五课 如何做特征工程和特征选择

一、如何做特征工程? 1.排序特征:基于7W原始数据,对数值特征排序,得到1045维排序特征 2. 离散特征:将排序特征区间化(等值区间化、等量区间化),比如采用等量区间化为1-10,得到1045维离散特征 3. 计数特征:统计每一行中,离散特征1-10的个数,得到10维计数特征 4. 类别特征编码:将93维类别特征用one-hot编码 5. 交叉特征:特征之间两两融合,x+y、x-y、x...
阅读(1333) 评论(0)

[置顶] 【ML--04】第四课 logistic回归

1、什么是逻辑回归?当要预测的y值不是连续的实数(连续变量),而是定性变量(离散变量),例如某个客户是否购买某件商品,这时线性回归模型不能直接作用,我们就需要用到logistic模型。逻辑回归是一种分类的算法,它用给定的输入变量(X)来预测二元的结果(Y)(1/0,是/不是,真/假)。我们一般用虚拟变量来表示二元/类别结果。你可以把逻辑回归看成一种特殊的线性回归,只是因为最后的结果是类别变量,所以我...
阅读(1078) 评论(0)

[置顶] 【python 爬虫】python淘宝爬虫实战(selenum+phontomjs)

1、需求目标 : 进去淘宝页面,搜索耐克关键词,抓取 商品的标题,链接,价格,城市,旺旺号,付款人数,进去第二层,抓取商品的销售量,款号等。2、结果展示 3、源代码# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import time import pandas as pd time1=ti...
阅读(1587) 评论(0)

[置顶] 【hadoop Sqoop】Sqoop从mysql导数据到hdfs

1.下载sqoop安装包wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.解压安装包tar -xzvf /sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz3.配置hadoopmv sqoop-1.4.6....
阅读(570) 评论(0)

[置顶] 【Hive Hbase】Hbase与Hive的区别与联系

问题导读:Hive与Hbase的底层存储是什么? hive是产生的原因是什么? habase是为了弥补hadoop的什么缺陷?共同点: 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别: 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你...
阅读(1206) 评论(0)

[置顶] 【hadoop Sqoop】数据迁移工具 sqoop 入门

数据迁移工具sqoop入门首先,先简单说明下sqoop是什么,sqoop 即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,sqoop1和sqoop2。 那么为什么选择sqoop呢? 1,高效可控的利用资源,任务并行度,超时时间。 2,数据类型映射与转...
阅读(1491) 评论(0)

[置顶] 【hadoop Sqoop】Sqoop从mysql导数据到hive

1、概述Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。 主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。2、参数hive导入参数   --hive-home...
阅读(80) 评论(0)

[置顶] 【hadoop Sqoop】Sqoop 1.4.6 安装

第一步:下载Sqoop选择 (sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz) http://apache.fayea.com/sqoop/1.4.6/第二步:拷贝至安装目录并解压缩tar zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz第三步:目录名过长,修改为 sqoop-1.4.6mv sqoop-1.4.6....
阅读(57) 评论(0)

[置顶] 【ML--03】 第三课 机器学习基本概念

什么是机器学习 研究如何通过计算的手段,利用经验来改善系统自身的性能 通俗来讲,让代码学着干活● 特征:自变量 ● 标签:因变量学习的种类 ● 有监督学习:提供标签,分类、回归 ● 无监督学习:无标签,聚类 ● 增强学习:也称强化学习,马尔科夫决策过程(Markov Decision Processes,MDP) ● 主动学习:边学习边标注 ● 迁移学习:从一...
阅读(63) 评论(0)

[置顶] 【linux 命令】ll 命令不管用的问题

[root@node1 ~]# find / -name mysql 查看mysql的安装路径 /usr/lib64/mysql /usr/share/mysqlll 命令不管用的问题:$ vim ~/.bashrc alias ll=’ls -l’ #加入此行 ps:加入后肯能无法当场起作用, 执行该句: source ~/.bashrc...
阅读(61) 评论(0)

[置顶] 【大数据 BI】传统BI流程

传统BI流程...
阅读(2069) 评论(0)

[置顶] 【大数据 hadoop】hadoop生态圈

adoop生态圈hadoop提供的功能,利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理核心组件: A、HDFS 分布式文件系统 B、YARN 运算资源调度系统 C、MAPREDUCE 分布式运算编程框架生态圈sprakstormflumehivehbasehadoop在大数据、云计算中的位置和关系云计算是分布式计算、并行计算、网络计算、多核计算、网络存储、虚拟化...
阅读(500) 评论(0)

[置顶] 【ML--02】第二课 线性回归

1、重点归纳 回归分析就是利用样本(已知数据),产生拟合方程,从而(对未知数据)进行预测 用途:预测,判别合理性 例子:利用身高预测体重;利用广告费用预测商品销售额;等等. 线性回归分析:一元线性;多元线性;广义线性 非线性回归分析 困难:选定变量(多元),避免多重共线性,观察拟合方程,避免过度拟合,检验模型是否合理2、一元线性回归: 首先计算相关系数确定自变量与因变量是否相关。...
阅读(1485) 评论(0)

[置顶] 【ML--01】第一课 机器学习概述

接下来打算整理下一套机器学习的过程和学习文档分享给大家,共同学习进步~我理解的机器学习(Machine Learing,ML)1、、机器学习是对能通过经验自动改进的计算机算法的研究。从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。机器学习以算法为主,需要一定的数学素养,最终目标将机器学习算法用于大数据挖掘。2、机器学习是人工智能研究的核心内容。它的应用已遍及人工智能的各个分支。数据挖掘...
阅读(729) 评论(0)

[置顶] 【jquery 走进web】Web进阶 比JS更方便的JQuery

简介 ● JQuery是一个JS库 ● 极大地简化了JS编程 ● JQuery很容易学习引入 ● 下载下来并引入:http://jquery.com/download/ ● 直接引用CDN: http://cdn.bootcss.com/jquery/2.1.4/jquery.min.js语法 (document).ready(function());(documen...
阅读(554) 评论(0)

[置顶] 【js 走进web】Web基础 网页的关节JS

什么是JS HTML中的脚本编程语言:JavaScript,但和Java毛关系没有这都不重要,重要的是: JS决定了如何动态改变HTML元素使用JS 1. 在html中使用js 2. 引入外部.js文件内容 ● document.write() ● 变量var:数值、字符、数组、字典/对象 ● document.getElementById() ● oncl...
阅读(562) 评论(0)

[置顶] 【python 爬虫】Python爬虫技术分享

1、什么是“爬虫”?简单来说,写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫;爬虫理论上步骤很简单,第一步获取html源码,第二步分析html并拿到数据。但实际操作,老麻烦了~2、用Python写“爬虫”有哪些方便的库常用网络请求库: requests、urllib、urllib2、urllib和urllib2是Python自带模块,requests是第三方库常用解析库和爬虫框架: Be...
阅读(100) 评论(0)

[置顶] 【CSS 走进web】Web基础 网页的血肉CSS

什么是CSS 层叠样式表:Cascading Style Sheets这都不重要,重要的是: CSS决定了如何显示HTML元素基本结构选择器 + 样式(key: value) --------------------------------------------------------------------------------p { color: red; font-size: 20px...
阅读(577) 评论(0)

[置顶] 【大数据 hadoop】大数据框架Hadoop主要模块介绍

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。核心模块:Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务,并为运行在该平台上的软件开发提供了所需的...
阅读(95) 评论(0)

[置顶] 【html 走进web】Web基础 网页的骨骼HTML

什么是HTML 超文本标记语言:Hyper Text Markup Language这都不重要,重要的是: HTML是Web网页的基本组成部分 HTML中定义的元素,决定了网页的内容和结构Python:编程语言,编写程序 HTML:标记语言,像画画一样,画出网页的内容基本结构 --------------------------------------------------------------...
阅读(1205) 评论(0)

[置顶] 【python 走进NLP】NLP WordEmbedding的概念和实现

背景 如何表示词语所包含的语义?苹果?水果?Iphone? 苹果、梨子,这两个词相关吗?语言的表示 符号主义:Bags-of-word,维度高、过于稀疏、缺乏语义、模型简单 分布式表示:Word Embedding,维度低、更为稠密、包含语义、训练复杂Word Embedding 核心思想:语义相关的词语,具有相似的上下文环境,例如, 苹果和梨子 所做的事情:将每个词语训练成,词向量实...
阅读(1304) 评论(0)

[置顶] 【python 走进NLP】 NLP 使用jieba分词处理文本

一、NLP介绍概念 Natural Language Processing/Understanding,自然语言处理/理解日常对话、办公写作、上网浏览希望机器能像人一样去理解,以人类自然语言为载体的文本所包含的信息,并完成一些特定任务内容 中文分词、词性标注、命名实体识别、关系抽取、关键词提取、信息抽取、依存分析、词嵌入……应用 篇章理解、文本摘要、情感分析、知识图谱、文本翻译、问答系统、聊天机器...
阅读(547) 评论(0)

[置顶] 【R语言 数据探索】实战 Diamonds数据集探索

1.主要内容查看数据 diamonds 截取子集 set.seed(123) diamonds <- diamonds[sample(nrow(diamonds), 1000),]查看概要 summary()、str()探索 价格和克拉的关系:geom_point(),映射颜色和形状价格分布:geom_histogram(),映射填充、position="fill"/"dodge"透明度分布:geo...
阅读(180) 评论(0)

[置顶] 【python mysql】数据库 使用Python操作MySQL

MySQLdb 安装:pip install mysql-python加载包 -------------------------------------------------------------------------------- import MySQLdb import MySQLdb.cursors ------------------------------------------...
阅读(1211) 评论(0)

[置顶] 【web服务器搭建】用MAMP和WAMP搭建Web环境

Web环境 Web服务器:Apache、Nginx,处理Web请求 数据库:MySQL,存储和管理数据 后端:PHP Web服务启动后,就可以在浏览器中访问根目录中的网站项目 MAMP:Mac,Apache,MySQL,PHP,https://www.mamp.info/en/ WAMP:Windows,Apache,MySQL,PHP,http://www.wampserver.com/...
阅读(673) 评论(0)

[置顶] 【python 文本统计】西游记用字统计

1、数据 xyj.txt,《西游记》的文本,2.2MB 致敬吴承恩大师,4020行(段)2、目标 统计《西游记》中: 1. 共出现了多少个不同的汉字; 2. 每个汉字出现了多少次; 3. 出现得最频繁的汉字有哪些。3、涉及内容: 1. 读文件; 2. 字典的使用; 3. 字典的排序; 4. 写文件4、效果5、源代码# coding:utf8impor...
阅读(748) 评论(0)

[置顶] 【zookeeper 安装教程】centos 5.8搭建环境

所需软件:VM 虚拟机 centos系统 jdk 1.6或者以上 zookeeper-3.4.6.tar.gz   这里至少需要三台server,不然的话这里zookeeper安装的时候,测试会报至少需要三台server,相关可以查看zookeeper.out(测试环境下)       首先下载jdk的rpm包,分别上传到三个虚拟机上并安装。     1.先查看系统是否存在jdk的相...
阅读(481) 评论(0)

[置顶] 【linux 定时器】crontab 的用法

基本格式 : *  *  *  *  *  command 分  时  日  月  周  命令 第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时0~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要运行的命令 crontab文件的一些例子: 30 21 * * * /usr/local/etc/r...
阅读(800) 评论(0)

[置顶] 【linux iptable】iptable练习

#查看帮助 iptables -h man iptables列出iptables规则 iptables -L -n 列出iptables规则并显示规则编号 iptables -L -n --line-numbers列出iptables nat表规则(默认是filter表) iptables -L -n -t nat清除默认规则(注意默认是filter表,如果对nat表操作要加-t nat) #清楚所...
阅读(263) 评论(0)

[置顶] 【linux 常用命令】常用命令整理

linux的命令操作 1、日常操作命令 **查看当前所在的工作目录 pwd**查看当前系统的时间 date**查看有谁在线(哪些人登陆到了服务器) who 查看当前在线 last 查看最近的登陆历史记录 2、文件系统操作 ** ls / 查看根目录下的子节点(文件夹和文件)信息 ls -al -a是显示隐藏文件 -l是以更详细的列表形式显示**切换目录 cd /home**创建文...
阅读(191) 评论(0)

[置顶] 【linux ssh免密码登录】linux 免密码登录

**配置主机之间的免密ssh登陆 vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168....
阅读(252) 评论(0)

[置顶] 【linux 软件安装】linux 安装tomcat

安装tomcat1.上传apache-tomcat-7.0.68.tar.gz到Linux上 2.解压tomcat tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/ 3.启动tomcat /usr/local/apache-tomcat-7.0.68/bin/startup.sh bin/shutdown.sh #停止tomcat...
阅读(160) 评论(0)

[置顶] 【linux 软件安装】nginx 安装

安装nginx tar -zxvf nginx-1.8.1.tar.gz -C /usr/local/src 3.3.编译nginx #进入到nginx源码目录 cd /usr/local/src/nginx-1.8.1#检查安装环境,并指定将来要安装的路径 ./configure --prefix=/usr/local/nginx#缺包报错 ./configure: error: C compil...
阅读(221) 评论(0)

[置顶] 【linux 命令】Linux 下常用压缩文件的解压、压缩

常用压缩包解压命令整理 Linux 后缀为 .tar.gz 格式的文件-解压 命令:tar zxvf XXXXXX.tar.gzLinux 后缀为 .bz2 格式的文件-解压 命令:bzip2 -d XXXXXX.bz2Linux 后缀为 .tar.bz2 格式的文件-解压 命令:tar jxvf XXXXXX.tar.bz2Linux 后缀为 .tar 格式的文件-解压 命令:tar z...
阅读(193) 评论(0)

[置顶] 【linux 命令】进程控制

1.查看用户最近登录情况 last lastlog2.查看硬盘使用情况 df3.查看文件大小 du4.查看内存使用情况 free5.查看文件系统 /proc6.查看日志 ls /var/log/7.查看系统报错日志 tail /var/log/messages8.查看进程 top9.结束进程 kill 1234 kill -9 4333...
阅读(117) 评论(0)

[置顶] 【linux 命令】输入输出重定向及管道

1.新建一个文件 touch a.txt b.txt 2.错误重定向:2> find /etc -name zhaoxing.txt 2> error.txt3.将正确或错误的信息都输入到log.txt中 find /etc -name passwd > /tmp/log.txt 2>&1 find /etc -name passwd &> /tmp/log.txt4.追加>>5.将小...
阅读(171) 评论(0)

[置顶] 【linux 命令】正则表达式

1.cut截取以:分割保留第七段 grep hadoop /etc/passwd | cut -d: -f72.排序 du | sort -n 3.查询不包含hadoop的 grep -v hadoop /etc/passwd4.正则表达包含hadoop grep ‘hadoop’ /etc/passwd5.正则表达(点代表任意一个字符) grep ‘h.*p’ /etc/passwd6....
阅读(147) 评论(0)

[置顶] 【linux 命令】解压和打包

1.gzip压缩 gzip a.txt2.解压 gunzip a.txt.gz gzip -d a.txt.gz3.bzip2压缩 bzip2 a4.解压 bunzip2 a.bz2 bzip2 -d a.bz25.将当前目录的文件打包 tar -cvf bak.tar . 将/etc/password追加文件到bak.tar中(r) tar -rvf bak.tar /etc/p...
阅读(165) 评论(0)

[置顶] 【linux 命令】查找

1.查找可执行的命令: which ls2.查找可执行的命令和帮助的位置: whereis ls3.查找文件(需要更新库:updatedb) locate hadoop.txt4.从某个文件夹开始查找 find / -name “hadooop*” find / -name “hadooop*” -ls5.查找并删除 find / -name “hadooop*” -ok rm {} \...
阅读(257) 评论(0)

[置顶] 【JDK 安装】linux下jdk安装步骤

1.安装JDK *添加执行权限 chmod u+x jdk-6u45-linux-i586.bin *解压 ./jdk-6u45-linux-i586.bin *在/usr目录下创建java目录 mkdir /usr/java *将/soft目录下的解压的jdk1.6.0_45剪切到/usr/java目录...
阅读(176) 评论(0)

[置顶] 【linux 命令】权限

创建a.txt和b.txt文件,将他们设为其拥有者和所在组可写入,但其他以外的人则不可写入: chmod ug+w,o-w a.txt b.txt创建c.txt文件所有人都可以写和执行 chmod a=wx c.txt 或chmod 666 c.txt将/itcast目录下的所有文件与子目录皆设为任何人可读取 chmod -R a+r /itcast将/itcast目录下的所有文件与子目录的拥...
阅读(63) 评论(0)

[置顶] 【linux 命令】用户和组

添加一个tom用户,设置它属于users组,并添加注释信息 分步完成:useradd tom usermod -g users tom usermod -c “hr tom” tom 一步完成:useradd -g users -c “hr tom” tom设置tom用户的密码 passwd tom修改tom用户的登陆名为tomcat usermo...
阅读(451) 评论(0)

[置顶] 【linux 命令】系统命令

1.查看主机名 hostname2.修改主机名(重启后无效) hostname hadoop3.修改主机名(重启后永久生效) vi /ect/sysconfig/network4.修改IP(重启后无效) ifconfig eth0 192.168.12.225.修改IP(重启后永久生效) vi /etc/sysconfig/network-scripts/ifcfg-eth06.查看系统信...
阅读(149) 评论(0)

[置顶] 【linux 命令】文件相关命令

1.进入到用户根目录 cd ~ 或者 cd cd ~hadoop 回到原来路径 cd -2.查看文件详情 stat a.txt3.移动 mv a.txt /ect/ 改名 mv b.txt a.txt 移动并改名 mv a.txt ../b.txt4拷贝并改名 cp a.txt /etc/b.txt5.vi撤销修改 ctrl + u (undo) 恢复 ctrl + r...
阅读(203) 评论(0)

[置顶] 【linux 常用命令】linux命令大全

说明:安装linux时,创建一个itcast用户,然后使用root用户登陆系统1.进入到用户根目录 cd ~ 或 cd2.查看当前所在目录 pwd3.进入到itcast用户根目录 cd ~itcast4.返回到原来目录 cd -5.返回到上一级目录 cd ..6.查看itcast用户根目录下的所有文件 ls -la7.在根目录下创建一个itcast的文件夹 mkdir /itcast8...
阅读(66) 评论(0)

[置顶] 【VMware Workstation】VMware 所有版本永久许可证激活密钥

注:VMware v11.x、12.x 系列版本仅支持64位系统,如果是32位系统请用VMware v10.x版本VMware 所有版本永久许可证激活密钥:VMware Workstation v12 for Windows 5A02H-AU243-TZJ49-GTC7K-3C61N VF5XA-FNDDJ-085GZ-4NXZ9-N20E6 UC5MR-8NE16-H81WY-R7QGV...
阅读(350) 评论(0)

[置顶] 【vmware 服务器安装】虚拟机centos6.5安装步骤

步骤一:安装node1,配置node1vi /etc/sysconfig/network-scripts/ifcfg-eth0ONBOOT=yes #是否开机启用修改完成之后reboot步骤二:克隆node2,node3出来步骤三:配置 node2,node3 1、vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node22,解决克隆后e...
阅读(280) 评论(0)

[置顶] 【matlab GUI】GUI listbox的用法

A= get(handles.listbox1,'value'); %A的值代表我们选的是第几个选项 switch A case 1 % 当我们选的是1 时,给变量B赋个什么样的值,依次类推,最后B将是你想要的结果 I=imread('1.jpg'); I0=rgb2gray(I); axes(handles.axes2) BW1=edge(I0,'Roberts...
阅读(417) 评论(0)

[置顶] 【matlab 图像处理】五种边缘检测算法比较

代码实现I=imread('1.jpg'); I0=rgb2gray(I); subplot(231); imshow(I);BW1=edge(I0,'Roberts',0.16); subplot(232); imshow(BW1); title('Robert算子边缘检测') BW2=edge(I0,'Sobel',0.16); subplot(233); imshow(BW2); title(...
阅读(425) 评论(0)

[置顶] 【python 淘宝爬虫】python 淘宝店铺名称,旺旺,销售量 抓取

一、需求分析 抓取淘宝店铺名称,旺旺,销售量 二、效果展示 三、实现源代码# encoding: utf-8import sys reload(sys) sys.setdefaultencoding('utf-8')import pandas as pd import time import re time1=time.time()import requestsseller=[] shop=[]...
阅读(222) 评论(0)

[置顶] 【python 淘宝爬虫】淘宝信誉分抓取

一、需求分析 输入旺旺号,获取淘宝卖家的信用分二、思路 淘宝需要模拟登陆,我们这里抓不到,因此为了绕过登陆,发现了淘一兔,我们可以通过这里,得到淘宝卖家的信用分,结果是一样的。 http://www.taoyizhu.com/输入旺旺号,需要点击查询,等待几秒,得到查询结果,这里我们用selienum 来做三、实现源代码(抓取不能太快,否则抓不到)# encoding: utf-8from s...
阅读(513) 评论(0)

[置顶] 【数据科学】当代数据科学家需要掌握的技能

道路通往星辰大海,纵有荆棘不言孤单~...
阅读(791) 评论(0)

[置顶] 【python 爬虫】selenium+phontomjs 用法

程序1:输入病员号,查询病员信息# encoding: utf-8from selenium import webdriver import sys reload(sys) sys.setdefaultencoding('utf-8') from lxml import etree import pandas as pd import time time1=time.time() driver=we...
阅读(246) 评论(0)

[置顶] 【spark 词频统计】spark单词进行计数升级版

下面的代码对文件里的单词进行计数,筛选出现过10次的单词,然后对这些单词中的每个字符出现的次数进行计数。最后,通过collect action操作触发job的执行。这些转换中有两个是stage边界(它们有宽依赖)。代码中的两个reduceByKey转换是生成3个stage的原因:val words = sc.textFile("textFilePath").flatMap(_.split(' '))...
阅读(176) 评论(0)

[置顶] 【R语言 可视化】R语言画图增加次要刻度线

dose<-c(20,30,40,45,60) drugA<-c(16,20,27,40,60) plot(dose,drugA,xlim = c(0,70)) library(Hmisc) minor.tick(nx=5,ny=5)...
阅读(885) 评论(0)

[置顶] 【python 数据可视化 】饼图,箱线图,条形图,直方图,折线图,散点图

# coding:UTF-8 import matplotlib.pyplot as plt import numpy as np import pandas as pd import matplotlib.dates as mdates##画直线 plt.plot([1,2,3,4,5],[1,2,3,4,5]) plt.show()##numpy 导入数据,切片,索引 a=np.loadtxt(...
阅读(1290) 评论(0)

[置顶] 【R语言 社交网络】R语言关系网络图+ PageRank算法实现

例子1: library(plyr)set.seed(10) rm(list=ls()) library(igraph) g<-random.graph.game(n=10,p.or.m=1/3,directed=TRUE) com = walktrap.community(g, steps = 6) V(g)$sg = com$membership + 1 V(g)$color = rainbow...
阅读(2688) 评论(0)

[置顶] 【spark 学习笔记】Spark学习笔记精华(1)

好记性不如烂笔头,顺便就开始用手机练习打字了,也分享给感兴趣的朋友学习下。 1.take可以查看RDD中前面几个元素,而且代价很小。rdd.take(5)2.可以用takeSample对数据进行采样,它的第一个参数表示是否允许重复采样。rdd.takeSample(true,3)3.top返回数据集中按给定ordering方式排序的最大的k条记录,许多场景都要用到它,比如对每条记录打分之后,检查得分...
阅读(165) 评论(0)

[置顶] 【spark RDD】RDD编程

%spark/*创建RDD*/ val data0=sc.parallelize(Array(1,2,3,3)) /*************************************对一个数据的RDD进行转换操作************************************************/ /*map*/ val data1=data0.map(x=>x+1)//每个元素...
阅读(139) 评论(0)

[置顶] 【spark 数据框】Spark数据框dataFrame

%spark /*DataFrame*/ val data=sc.parallelize(List(("Alice",21),("Bob",24))) val people=data.toDF("name","age") people.show()/*增加一列*/ val df1=(1 to 5).map(i=>(i,i*2)).toDF("single","double") df1.show()...
阅读(423) 评论(0)

[置顶] 【R 可视化】R 画关系网络图

rm(list=ls()) library(igraph) #1.用igraph创建图表 g<- graph(c(1,2, 1,8,1,9,1,10,2,4,2,5,2,6,2,3,3,7,3,11,3,12,3,1), directed=T)com = walktrap.community(g, steps = 6) V(g)$sg = com$membership + 1 V(g)$color...
阅读(517) 评论(0)

[置顶] 【spark 累加器】spark 累加器求1+2+3+4+5+......+100

%spark val accum = sc.accumulator(0) val num=1 to 100 sc.parallelize(num).foreach(x => accum += x) val total_sum=accum.value println(total_sum)accum: org.apache.spark.Accumulator[Int] = 0 num: scala.co...
阅读(382) 评论(0)

[置顶] 【R语言 函数】R语言聚合函数总结

> rm(list=ls()) > > > # 聚合函数学习 > data(iris) > ##tapply 分组求和 > (aa > ##rowsum 分组求和...
阅读(388) 评论(0)

[置顶] 【R语言 算法设计】信用贷款余额计算

#####设置 rm(list = ls()) options(scipen =20)########################step0:读取数据########################## data<-read.table("E:\\贷款余额\\信用贷款.txt",sep="\t",header=T) #########################step1:数据处理#####...
阅读(288) 评论(0)

[置顶] 【算法 机器学习】R语言做朴素贝叶斯和决策树算法

data:2016-02-19 author:laidefa########################朴素贝叶斯################################## ###目标:利用朴素贝叶斯预测苹果是好的坏的 rm(list=ls()) gc() library(plyr) library(reshape2)#训练集 train.apple<-data.frame(size=...
阅读(487) 评论(0)

[置顶] 【R语言 可视化】R语言 ggplot2 一张图画多个饼

author:laidefa date:2016-01-18 椰丝,终于画好了,要画好多个饼不容易啊 ,画都画饱了。 # data:2016-1-18 # author:laidefa rm(list=ls()) gc() a=c(15,25,40,12,8) b=c(5,18,12,45,10) c=c(7,24,13,36,20) d=c(3,27,40,21,9) type=c("A",...
阅读(193) 评论(0)

[置顶] 【R语言 爬虫】用R爬虫,爬取杭州安居客九堡租房信息

在当今互联网时代,数据要会挖,得先学会爬!爬的过程是痛苦的,因为在计算机程序开发领域,网络爬虫的开发是一个很专业的方向,技术门槛比较高,它所要求的综合知识很多,相信很多同学都望而却步了。别急,说话说到后面往往都有但是滴。 但是该领域的几个非常方便的工具已经被集成到R的一些第三方包中了,所以我们完全可以基于R用一种很容易实现的方式来实现互联网数据的抓取,让我们可以直接去挖掘互联网这座金矿。...
阅读(134) 评论(0)

[置顶] 【R语言 可视化】我教你15分钟学会用R画各种统计图

data:2015-10-17 author:laidefa 有同学让我开始教他R语言,就先分享点东西把。学习R的曲线是陡峭的,有人教你才是正道,没人教你你至少要安静学习三个月甚至远远不止,才会驾轻熟重,才能养成那种R编程的感觉和习惯,这个过程是痛苦枯燥无味的。我以前是没人教的,自学成才(啧啧啧…….)。自己看书你要看到什么时候,还有你能静下心来坚持看下去么,看我这个简单的教程吧,立马学会,废话...
阅读(281) 评论(0)

[置顶] 【算法 机器学习】MATLAB、R、python三种编程语言实现简单线性回归算法比较

data:2015-10-04 author:laidefa 今天看到机器学习中的回归,一个简单的线性回归原理想想无非就是利用最小二乘法进行拟合。想着自己去实现下算法,体验以下不同的编程语言实现算法有什么难易程度,亲自编完实现之后,心中方有感觉,得知结果python最佳。下面还是贴上代码把,仅供欣赏。1、matlab实现最小二乘法算法%data:2015-10-04 %author:la...
阅读(320) 评论(0)

[置顶] 【excel VBA】中英文分割

'中文 Function SplitStringChs(TheString) Dim n, Chs For n = 1 To Len(TheString) If Asc(Mid(TheString, n, 1)) < 0 Then Chs = Chs & Mid(TheString, n, 1) End If N...
阅读(149) 评论(0)

[置顶] 【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(factorial(3*n)*factorial(n)^3(-640320)^(3*n));...
阅读(202) 评论(0)

[置顶] 【excel VBA】excel 计算字符串相似度

Private Function min(one As Integer, two As Integer, three As Integer) min = one If (two < min) Then min = two End If If (three < min) Then min = three End I...
阅读(324) 评论(0)

[置顶] 【excel VBA】合并当前工作薄下多个sheet表

Sub 合并当前工作簿下的所有工作表() Application.ScreenUpdating = False For j = 1 To Sheets.Count If Sheets(j).Name <> ActiveSheet.Name Then X = Range("A65536").End(xlUp).Row + 1 Sheets(j).UsedRange.C...
阅读(271) 评论(2)

[置顶] 【excel VBA】合并一个文件夹下多张excel表数据,前提字段一样

Sub HuiZong() Dim myfile, mypath, wb '声明变量 Application.ScreenUpdating = False '关闭屏幕更新 Sheet1.UsedRange.Offset(1, 0).Clear '清除除表头之外的所有内容 mypath = ThisWorkbook.Path '找到当前工作簿的路径...
阅读(160) 评论(2)

[置顶] 【python 下载器】python下载电影&视频&电视剧

输入视频链接,python后台下载视频# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import requests import re import time time1=time.time() link='http://v3.365yg.com/a0ee2d891f16098d3098f8f1436...
阅读(1257) 评论(0)

[置顶] 【python 视频爬虫】python下载头条视频

一、需求分析 抓取今日头条短视频视频链接: http://video.eastday.com/a/170612170956054127565.html二、代码实现# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import requests import re import time time1=t...
阅读(1774) 评论(0)

[置顶] 【python 可视化】python利用matplotlib库绘制散点图案例

import pandas as pd import numpy as np import matplotlib.pyplot as plt import random N=50 x=np.random.randn(N) y=np.random.randn(N) plt.scatter(x,y,s=50,c='b',marker='o',alpha=0.5) plt.savefig("C:/a3.j...
阅读(673) 评论(0)

[置顶] 【R 语言 可视化】在直方图上面添加密度曲线

rm(list=ls()) gc() set.seed(1234) score <- rnorm(n = 1000, m = 80, sd = 20) hist(score, freq=FALSE, xlab="Score", main="Distribution of score", col="lightgreen", xlim=c(0,...
阅读(1304) 评论(0)

[置顶] 【python 可视化】python利用matplotlib库绘制饼图案例

import matplotlib.pyplot as plt sizes = [15, 30, 45, 10] labels = 'Frogs', 'Hogs', 'Dogs', 'Logs' colors = ['yellowgreen', 'gold', 'lightskyblue', 'lightcoral'] explode = (0, 0.1, 0, 0) plt.pie(sizes,...
阅读(1119) 评论(0)

[置顶] 【python 可视化】数据透视表的用法及画饼图

# encoding: utf-8###################设置utf-8编码############## import sys reload(sys) sys.setdefaultencoding('utf-8')####################导入包######## import pandas as pd import numpy as np import matplotli...
阅读(995) 评论(0)

[置顶] 【matlab dijkstra单源最短路径算法】dijkstra单源最短路径算法实现

一、主函数function [min,path]=dijkstra(w,start,terminal) %%%参数说明 %%%%%%输入 % w:网络各点的邻接矩阵 % start:起点 % start:终点 %%%%%输出 % min:最短距离 % path:最短路径n=size(w,1); label(start)=0; f(start)=start; for i=1:n if i~=st...
阅读(1172) 评论(0)

[置顶] 【matlab 可视化】MATLAB 画最短路径网络图

clc,clear a=zeros(7); a(1,2)=4;a(1,3)=2; a(2,3)=3;a(2,4)=2;a(2,5)=6; a(3,4)=5;a(3,6)=4; a(4,5)=2;a(4,6)=7; a(5,6)=4;a(5,7)=8; a(6,7)=3;% %构建稀疏矩阵 b=sparse(a); % 画网络图 h=view(biograph(b,[],'showArrows','o...
阅读(254) 评论(0)

[置顶] 【R 数据科学】R语言进行数据科学整理最有用的包大全

一、数据科学工作流程1.1 数据导入 1.2 数据整理 1.3 反复理解数据 1.4 数据可视化 1.5 数据转换 1.6 统计建模 1.7 作出推断(比如预测) 1.8 沟通交流 1.9 自动化分析 2.0 程序开发二、每个步骤最有用的一些R包1、数据导入以下R包主要用于数据导入和保存数据feather:一种快速,轻量级的文件格式。在R和python上都可使用 readr:实现...
阅读(383) 评论(0)

[置顶] 【R语言 数据处理】R语言数据变形melt用法

1、需要安装的包install.packages("reshape2") install.packages("knitr")2、加载包rm(list=ls()) gc() library(reshape2) library(knitr)3、创建数据集data<-data.frame(Name = c("苹果","谷歌","脸书","亚马逊","腾讯"),Company = c("Apple","Go...
阅读(637) 评论(0)

[置顶] 【R语言 可视化】R语言画雷达图

1、安装插件 github网址: https://github.com/ricardo-bion/ggradardevtools::install_github("ricardo-bion/ggradar") install.packages("knitr")2、效果图3、源代码rm(list=ls()) gc() library(ggradar) mydata<-matrix(runif(40...
阅读(1624) 评论(0)

[置顶] 【python 百度指数抓取】python 模拟登陆百度指数,图像识别百度指数

一、算法思想 目的奔着去抓取百度指数的搜索指数,搜索指数的爬虫不像是其他爬虫,难度系数很高,分析之后发现是图片,坑爹的狠,想了下,由于之前做过身份证号码识别,验证码识别之类,豁然开朗,不就是图像识别麽,图像识别我不怕你,于是就有了思路,果然有异曲同工之妙,最后成功被我攻破了,大致思路如下:1、首先得模拟登陆百度账号(用selenium+PhantomJS模拟登陆百度,获取cookie)...
阅读(3603) 评论(0)

[置顶] 【python 可视化】python 一行代码画爱心图

一、效果二、源代码print'\n'.join([''.join([('LoveDaLin'[(x-y)%8]if((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3<=0 else' ')for x in range(-30,30)])for y in range(15,-15,-1)])...
阅读(839) 评论(0)

[置顶] 【python 图像识别】图像识别从菜鸟走向大神系列1

一、安装配置(python2.7)1.pip install pytesseract 2、pip install pyocr 3、pip install pillow 4、安装tesseract-ocr:http://jaist.dl.sourceforge.net/project/tesseract-ocr-alt/tesseract-ocr-setup-3.02.02.exe,安装在C:\Pro...
阅读(744) 评论(0)

[置顶] 【matlab 爬虫】用matlab做网络爬虫入门系列1

一、需求分析 抓取内容: 二、实现代码clc,clear %% % 设置不用科学计数法显示数据 format short g % % % 读取源代码 sourcefile=urlread('file:///D:/Program%20Files/MATLAB/R2013a/gui3/sheet.html'); % 正则表达式获取第一行数据存为data1 expr1='(.*?)<...
阅读(735) 评论(0)

[置顶] 【matlab 播放音乐】教你如何用matlab播放音乐

1、代码片段1 [fname,pname]=uigetfile('.wav','选择原始声音文件'); file=[pname,fname]; fs = 8000; [x,fs] = wavread(file); sound(x,fs); 2、代码片段2 [y,Fs,bits] = wavread('jinyong.wav'); %获取音乐数据 ao = analogoutput('winsou...
阅读(284) 评论(0)

[置顶] 【python 调用储存过程】python 执行储存过程

# -*- coding:utf-8 -*-import sys reload(sys) sys.setdefaultencoding('utf-8') import pymysql conn=pymysql.connect(host='localhost',port=3306,user='root',password='12345',db='cgjr', charset='utf8') # 创建游...
阅读(1406) 评论(0)

[置顶] 【mysql 存储过程】应用存储过程的优点与缺点

总结下使用存储过程的优缺点 一、存储过程优点 存储过程是一组预先创建并用指定的名称存储在数据库服务器上的 SQL 语句,将使用比较频繁或者比较复杂的操作,预先用 SQL 语句写好并存储起来,以后当需要数据库提供相同的服务时,只需再次执行该存储过程。1.具有更好的性能存储过程是预编译的,只在创建时进行编译,以后每次执行存储过程都不需再重新编译,而一般 SQL 语句每执行一次就编译一次,因此使用存储...
阅读(364) 评论(0)

[置顶] 【mysql 存储过程】存储过程之流程控制语句

-- 1、IF语句 -- 创建存储过程,判断两个输入参数哪一个大 -- 输入的第一个参数对应p1,第二个对应p2,@ax用来接收输出变量p3; 如果p1>p2,输出1;如果p1=p2,输出2;其他情况,输出3。 -- -- 定义存储过程 DELIMITER $$ CREATE PROCEDURE difference(IN p1 INTEGER,IN p2 INTEGER,OUT p3 INTEG...
阅读(713) 评论(0)

[置顶] 【mysql 事件】mysql事件的开启和调用

1、检测事件是否开启 show variables like 'event_scheduler';2.开启事件 set global event_scheduler = on;3.创建一个存储过程delimiter // create procedure test() begin update project set create_time = now(); end;4.创建一个事件create e...
阅读(2853) 评论(0)

[置顶] 【mysql 存储过程】数据库从菜鸟走向大神系列3

1、创建数据库create database cgjr2. 建表我们新建一张学生表和教师表如下:CREATE TABLE student( id INT NOT NULL AUTO_INCREMENT, first_name VARCHAR(10) NOT NULL, last_name VARCHAR(10) NOT NULL, sex VARCHAR(5) NOT NULL,...
阅读(1954) 评论(0)

[置顶] 【mysql 密码重置开启远程连接终极版】mysql 安装密码设置开启远程连接

my.ini 加入 skip-grant-tables进入 mysql -u root -pupdate MySQL.user set authentication_string=password('123456') where user='root' ;my.ini 关闭 #skip-grant-tables重启net stop mysql net start mysqlmysql -u root...
阅读(697) 评论(0)

[置顶] 【mysql 命令】Linux mysql 最常用的命令

一、连接MYSQL。 格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。 # mysql -u root -p 回车后提示你输密码,注意用户名前可以有空格也可以没有空格,但是密码前必须没有空格,否则让你重新输入密码。 如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中了,MYSQL的提示符是: mysql>2、连接到远...
阅读(1420) 评论(0)

[置顶] 【mysql linux安装】Mysql centos安装教程

步骤:1)查看CentOS自带的mysql输入 rpm -qa | grep mysql2)将自带的mysql卸载3)上传Mysql到linux4)安装mysql的依赖(选做)yum -y install libaio.so.1 libgcc_s.so.1 libstdc++.so.6yum update libstdc++-4.4.7-4.el6.x86_645)解压Mysql到/usr/loc...
阅读(1212) 评论(0)

[置顶] 【mysql 修炼之路】如何从菜鸟成为mysql 大神?

首先MySQL大多是跑在Linux环境上的,所以我们需要学习一下Linux的知识,最基础的需要了解: ■ Linux的安装及目录结构意义 ■ 常用的Linux命令,大概20多个 ■ 网络基本知识,进一步了解网关及路由相关概念,dhcp ■ 撑握一定的Linux网络服务,如果LAMP结构,dns, ftp 等其...
阅读(866) 评论(0)

[置顶] 【python DataFrame】Pandas里面的屠龙宝刀DataFrame

# encoding: utf-8 from __future__ import division import sys reload(sys) sys.setdefaultencoding('utf-8') import numpy as np import pandas as pd # 1.创建DataFrame的几种方式 #######1.1纯字典创建 students={'names':['...
阅读(1947) 评论(0)

[置顶] 【mysql 远程连接】关于远程连接服务器MySql的一些解决方案

在我们拿到一个新的服务器时,往往是系统自动生成的密码,不方便调试和远程维护。这里做第一步操作,修改mysql密码;mysql -u 要修改的用户名 -penter 密码mysql->use mysql;/*切换数据库(非root用户可无视)*/mysql->select user,password,host from user;/*查看用户组信息(包含密码)*/mysql->SET PASSWORD...
阅读(917) 评论(0)

[置顶] 【混得好的都有这 5 种特质】优秀的年轻人都有这 5 大特质

第一,有好奇心,能够主动学习新事物、新知识和新技能。今天不太谦虚,我把自己当做正例,然后再说一个负例。我有个前同事,理论基础挺好,但每次都是把自己的工作做完就下班了。他在这家公司呆了一年多,但对网上的新技术、新工具都不去了解。所以他非常依赖别人。当他想要实现一个功能,他就需要有人帮他做后半部分,因为他自己只能做前半部分——如果是有好奇心的人,前端、后端、算法都去掌握、至少有所了解的话,那么很多调试分...
阅读(3764) 评论(0)

[置顶] 【mysql 用户权限管理】mysql 权限管理学习

概述 用户权限管理主要有以下作用: 1. 可以限制用户访问哪些库、哪些表 2. 可以限制用户对哪些表执行SELECT、CREATE、DELETE、DELETE、ALTER等操作 3. 可以限制用户登录的IP或域名 4. 可以限制用户自己的权限是否可以授权给别的用户一、用户授权mysql> grant all privileges on *.* to 'yangxin'@'%' id...
阅读(819) 评论(0)

[置顶] 【mysql 使用错误解决】this is incompatible with sql_mode=only_full_group_by

使用mysql的时候遇到的一些错误1、Err1055,出现这个问题往往是在执行sql语句时候,在最后一行会出现这个问题。[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ'...
阅读(890) 评论(0)

[置顶] 【mysql 连接错误解决】mysql 登录错误解决

这几天用空密码登录mysql后,然后修改mysql默认密码,使用mysql表出现过这个问题,提示:ERROR 1044 (42000): Access denied for user ”@’localhost’ to database ‘mysql’。网上找了一些方法,终于搞定了。后来解决成功发现是因为mysql数据库的user表里,存在用户名为空的账户即匿名账户,导致登录的时候是虽然用的是root...
阅读(952) 评论(0)

[置顶] 【mysql 安装教程】MySQL5.7.18-下载安装教程

1、如何下载mysql 打开mysql官网下载链接网址: https://dev.mysql.com/downloads/选中第一个,点击download 下载进去之后,选择对应的系统和电脑版本(在这里,我选择的是Window系统64位的下载) 点击 download,选中 No thanks, just start my download. 下载完成。2、如何安装mysql从官网上下载...
阅读(3930) 评论(0)

[置顶] 【mysql 重置密码】快速重置mysql密码

如果你忘记了mysql密码几乎是没有什么好办法可以直接修改密码了,但我们可以在my.ini把加上skip-grant-tables,然后重启mysql就不需要密码了,这时我们再修改root密码,最后再把skip-grant-tables删除重启即可。首先,很荣幸你找到了这篇文章。。。 如果你忘记了mysql的密码不妨试试以下这个方法。 1、打开my.ini 代码如下 复制代码 [m...
阅读(2511) 评论(0)

[置顶] 【mysql 存储过程】数据库从菜鸟走向大神系列2

MySQL存储过程的基本函数 (1).字符串类 CHARSET(str) //返回字串字符集 CONCAT (string2 [,... ]) //连接字串 INSTR (string ,substring ) //返回substring首次在string中出现的位置,不存在返回0 LCASE (string2 ) //转换成小写 LEFT (string2 ,length ) //从str...
阅读(2000) 评论(0)

[置顶] 【mysql 存储过程】数据库从菜鸟走向大神系列1

1. 关于MySQL的存储过程 存储过程是数据库存储的一个重要的功能,但是MySQL在5.0以前并不支持存储过程,这使得MySQL在应用上大打折扣。好在MySQL 5.0终于开始已经支持存储过程,这样即可以大大提高数据库的处理速度,同时也可以提高数据库编程的灵活性。2. MySQL存储过程的创建 (1). 格式 MySQL存储过程创建的格式:CREATE PROCEDURE 过程名 ([过程参数[,...
阅读(2109) 评论(0)

[置顶] 【R语言爬虫】R语言提交get请求抓取城城理财数据

一、需求分析 抓取城城理财数据。 抓取url: https://www.cclc.co/debts/lctz_all_all二、实现源代码rm(list=ls()) library(XML) library(RCurl)url='https://www.cclc.co/debts/lctz_all_all' myheader <- c( "User-Agent"="Mozilla/5.0...
阅读(1868) 评论(0)

[置顶] 【R语言爬虫】R语言提交post请求抓取盈盈理财数据

一、需求分析 抓取盈盈理财数据 抓取url: https://licai.yingyinglicai.com/product/list.htm二、效果 三、实现源代码rm(list=ls()) library(XML) library(RCurl) k=1 url='https://licai.yingyinglicai.com/product/list.htm' web<-postForm...
阅读(2745) 评论(0)

[置顶] 【R语言数据导出txt】 write.table 函数用法

1)write.table函数语法:write.table (x, file ="", sep ="", row.names =TRUE, col.names =TRUE, quote =TRUE)参数说明: x:需要导出的数据 file:导出的文件路径 sep:分隔符,默认为空格(” “),也就是以空格为分割列 row.names:是否导出行序号,默认为TRUE,也就是导出行序号 col...
阅读(1435) 评论(0)

[置顶] 【python PDF解析】python 读取PDF文件内容

一、问题描述 利用python,去读取pdf文本内容。 二、效果 二、实现源代码# coding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import time time1=time.time() import os.path from pdfminer.pdfparser import PDFParser,PD...
阅读(4540) 评论(0)

[置顶] 【R语言 数据分析】R语言获取Excel数据

一、问题描述:我们的数据放在Excel里面,数据格式后缀为.xls或者.xlsx。如何获取Excel中的数据呢?二、解决方案:R语言提供 xlsx 包 ,可以获取Excel中的数据。三、代码实现:#安装xlsx包if(!suppressWarnings(require(xlsx))){install.packages(“xlsx”)require(xlsx)}#1数据格式为.xlsexcel_dat...
阅读(3525) 评论(0)

[置顶] 【R语言 数据挖掘】R语言如何做关联规则?

一、前言 提到数据挖掘,我们第一反应就是之前听到的啤酒和尿不湿的故事,该故事就是典型的数据挖掘中的关联规则。购物篮分析区别于传统的线性回归的主要区别为,关联分析针对离散数据;下面我们利用R语言的arules包及Apriori算法对商品交易数据进行关联规则挖掘,二、常见关联规则: 关联规则:牛奶=>鸡蛋【支持度=2%,置信度=60%】 支持度:分析中的全部事务的2%同时购买了牛奶和鸡蛋,需设定域值,...
阅读(2005) 评论(0)

[置顶] 【R语言可视化】ggplot2 自定义柱状图

rm(list=ls()) gc() library(ggplot2) # 我们拿到这样的数据 name <- c("多","中","少","中","少") data <- data.frame(name) # 转化为数据框p2 <- ggplot(data,aes(x=name)) + geom_bar(width=0.7,fill=rgb(50,163,221,maxColorValue=...
阅读(2249) 评论(0)

[置顶] 【R语言可视化ggplot2入门教程1】一个完整的绘图流程

一、主要内容 1、首先简单画一个图出来 2、做一些等价调整 3、接受另一种类型的数据 4、简单的参数调整 5、纵坐标使用百分比表示 6、更改横纵轴坐标、标题等 7、在图中增加标注的文字 调整字体、背景等,达成excel的效果 8、保存图形 首先简单画一个图出来 二、ggplot2 开始入门# 我们拿到这样的数据 name <- c("多","中",...
阅读(1609) 评论(0)

[置顶] 【R语言数据类型】深入了解 向量、矩阵、数据框、列表

R语言数据类型有向量、矩阵、数据框、列表。下面我们来深入了解下: vector 的划分 R中的vector分为两类,atomic和list,二者的区别在于,前者元素类型必须相同,后者可以不同。前者的代表是向量和矩阵,后者的代表是list和数据框。 创建向量、矩阵、数据框、列表# atomic a <- 1:5 b <- letters[1:5] c <- 1:10 mat <- matrix(c,...
阅读(2273) 评论(0)

[置顶] 【go语言发送电子邮件】go语言版发送电子邮件

一、实现功能 用go语言发送一封邮件二、实现源代码package main import ( "net/smtp" "fmt" "strings" )/* * user : example@example.com login smtp server user * password: xxxxx login smtp server password * host:...
阅读(1674) 评论(0)

[置顶] 【go语言计算两个经纬度距离】根据经纬度计算两点之间距离

一、需求分析: 输入两个经纬度,计算它们之间的距离 lat1,lng1 := 32.060255,118.796877 lat2,lng2 := 39.904211,116.407395二、计算公式 //C = sin(LatA*Pi/180)*sin(LatB*Pi/180) + cos(LatA*Pi/180)*cos(LatB*Pi/180)*cos((MLonA-MLonB)*Pi/180...
阅读(2355) 评论(0)

[置顶] 【go语言读取mysql】go语言连接mysql,并且查询出结果

一、需求分析 go语言 连上mysql,并且从mysql中读取数据二、实现效果"D:\Program Files (x86)\JetBrains\Gogland 171.3780.106\bin\runnerw.exe" D:/Go\bin\go.exe run D:/Go/code/src/awesomeProject/go_mysql.go 链接数据库成功...........已经打开 192...
阅读(3400) 评论(0)

[置顶] 【go语言计算年龄生肖星座】go语言根据出生日期 计算年龄,所属星座,生肖

一、需求分析 go语言根据出生日期 计算年龄,所属星座,生肖二、运行效果"D:\Program Files (x86)\JetBrains\Gogland 171.3780.106\bin\runnerw.exe" D:/Go\bin\go.exe run D:/Go/code/src/awesomeProject/age_calculate.go 24 狮子座 鸡Process finished...
阅读(1964) 评论(0)

[置顶] 【go语言爬虫】go语言高性能抓取手机号码归属地、所属运营商

一、需求分析 根据手机号码获取手机号码的归属地和所属运营商类型 类似:四川 18683339513 乐山 614000 0833 中国联通二、运行效果 三、实现源代码package main//网址:https://github.com/M2shad0w/phone-go//安装包:go get github.com/M2shad0w/phone-go import ( "fmt"...
阅读(1710) 评论(0)

[置顶] 【go语言爬虫】go语言爬取豆瓣电影top250

一、需求分析 用go语言抓取 豆瓣电影top250 抓取url: https://movie.douban.com/top250抓取字段:电影名称、评分、评价人数二、运行: 正在抓取第0页…… 肖申克的救赎 9.6 824764人 这个杀手不太冷 9.4 791399人 霸王别姬 9.5 589028人 阿甘正传 9.4 678850人 美丽人生 9.5 394009人 千与千寻...
阅读(3146) 评论(0)

[置顶] 【python 新浪微博爬虫】python 爬取新浪微博24小时热门话题top500

一、需求分析 模拟登陆新浪微博,爬取新浪微博的热门话题版块的24小时内的前TOP500的话题名称、该话题的阅读数、讨论数、粉丝数、话题主持人,以及对应话题主持人的关注数、粉丝数和微博数。二、开发语言 python2.7三、需要导入模块 import requests import json import base64 import re import time import pand...
阅读(5264) 评论(0)

[置顶] 【python 图像识别】python 身份证号码识别

一、需求分析 识别身份证图片上的身份证号码。 如: 二、python实现源代码 # !/usr/bin/python #-*-coding:utf-8-*- import sys reload(sys) sys.setdefaultencoding('utf-8')import time time1 = time.time() from PIL import Image import pyte...
阅读(4355) 评论(0)

[置顶] 【R语言可视化】R语言画爱心图

数学系也可以很浪漫~~rm(list=ls()) library(grid)heart <- function(lcolor){ t=seq(0, 2*pi, by=0.1) x=16*sin(t)^3 y=13*cos(t)-5*cos(2*t)-2*cos(3*t)-cos(4*t) a=(x-min(x))/(max(x)-min(x)) b=(y-min(y))/(max...
阅读(2990) 评论(0)

[置顶] 【python可视化】python 画饼图,柱状图,折线图,条形图

python数据可视化 内容: 1、python 画柱状图 2、python画条形图 3、python画折线图 4、python画饼图 # -* encoding:utf-8 *- import matplotlib.pyplot as plt ##########设置中文显示 from pylab import * import pandas as pd mpl.rcParams['fo...
阅读(2927) 评论(0)

[置顶] 【go语言爬虫】网贷天眼数据平台爬虫

一、需求分析 利用go语言抓取网贷天眼数据平台昨日数据 字段: 排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入 抓取url: http://www.p2peye.com/shuju/ptsj/二、go语言爬虫实现源代码package mainimport ( "fmt" "io/iout...
阅读(2920) 评论(0)

[置顶] 【python圆周率计算】python计算圆周率π的值到任意位

一、需求分析 输入想要计算到小数点后的位数,计算圆周率π的值。二、算法:马青公式π/4=4arctan1/5-arctan1/239这个公式由英国天文学教授约翰·马青于1706年发现。他利用这个公式计算到了100位的圆周率。马青公式每计算一项可以得到1.4位的十进制精度。因为它的计算过程中被乘数和被除数都不大于长整数,所以可以很容易地在计算机上编程实现。三、python语言编写出求圆周率到任意位的...
阅读(3312) 评论(0)

[置顶] 【python爬虫】网贷天眼平台表格数据抓取

一、需求分析 抓取url: http://www.p2peye.com/shuju/ptsj/抓取字段: 昨日数据 排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入二、python爬虫源代码# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencodin...
阅读(3053) 评论(0)

[置顶] 【R语言爬虫】网贷天眼数据平台表格数据抓取2

一、需求分析 抓取url: http://www.p2peye.com/shuju/ptsj/ 昨日数据: 字段:排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入二、rvest爬虫实现源代码rm(list=ls()) gc() options(scipen = 200) library('rvest') timest...
阅读(3851) 评论(0)

[置顶] 【R语言爬虫】网贷天眼平台表格数据爬虫1

一、需求分析 目标:利用R语言 rvest包 抓取网贷天眼数据平台表格数据。抓取url:http://www.p2peye.com/shuju/ptsj/二、抓取步骤讲解: 1、安装rvset包 install.packages(“rvest”) 2、加载rvest包 library(“rvset”) 3、read_html()函数下载网页源代码...
阅读(5038) 评论(0)
151条 共8页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:179320次
    • 积分:3355
    • 等级:
    • 排名:第9504名
    • 原创:149篇
    • 转载:2篇
    • 译文:0篇
    • 评论:4条
    文章分类
    文章存档
    最新评论