2018年07月_Hello_刘

原创利用Linux下的split命令切分大文件并合并文件

切分方法：1）：查看文件的行数：wc -l a.txt #查看a.txt文件共有多少行2）：根据行数利用 split 命令切分文件split -l 1000 a.txt -d -a 4 b_将a.txt文件按照1000行来平分成若干个大小文件，b_ 是要保存成的新文件的前缀，后缀是指定的4位数字（-d -a 4）例如：b_0001 b_0002等或者：split...

2018-07-31 17:44:22 21026 1

一：什么是JWT？ Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也...

2018-07-29 22:09:33 21755 2

转载 FastDFS原理和过程

前言：（1）每次上传文件后都会返回一个地址，用户需要自己保存此地址。（2）为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。网摘1 ...

2018-07-29 18:25:31 40418 5

原创 celery-分布式队列管理工具

1：为什么使用celery？在开发项目中,经常有一些耗时操作(生产环境中超过了nginx的timeout时间),或者是间隔一段时间就要执行任务，比如发送短信、邮件、网络请求等。在这种情况下,使用celery就是一个很好的选择。2:celery是什么？ Celery是一个由python编写的简单、灵活、可靠的用来处理大量信息的分布式系统，同时提供了操作和维护分布式系...

2018-07-29 17:28:37 21623 1

原创使用expect自动登录远程服务器自动填写密码

一：安装expectsudo apt-get install expect二：登录代码 #!/usr/bin/expect# 设置ssh连接的用户名set user root# 设置ssh连接的host地址set host ip地址# 设置ssh连接的port端口号# set port 9999# 设置ssh连接的登录密码set password 登录密码# 设置s...

2018-07-26 16:29:12 24490

转载 HeartBeat简单介绍和基本作用：

HeartBeat的作用：　　通过HeartBeat，可以将资源（IP以及程序服务等资源）从一台已经故障的计算机快速转移到另一台正常运转的机器上继续提供服务，一般称之为高可用的服务。在实际的生产应用场景中，heartbeat的功能和另一个高可用的开源软件keepalived有很多的相同之处，在我们实际的生产业务中也是有区别的。HeartBeat的工作原理：　　通过修改Heartbeat...

2018-07-22 17:42:09 49859 2

原创 Ubuntu16.04安装微软字体库

一：终端执行命令：sudo apt-get install ttf-mscorefonts-installer点击ok执行下一步：点击yes执行下一步执行成功后更新字体缓存:sudo fc-cache -f -v查看所有字体：fc-list :lang=zh;...

2018-07-21 22:21:26 28771 1

原创 Windows安装Python框架Scrapy报错的解决方法

一：报错building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools...

2018-07-20 09:14:42 25299

原创 win7中报错：无法启动此程序，因为计算机中丢失api-ms-win-crt-runtime-|1-1-0.dll

安装好Python解释器后，在终端中输入python却报错：如图：解决方案：一：安装VC redit.exe程序，针对自己的电脑下载对应版本下载地址：https://www.microsoft.com/zh-cn/download/details.aspx?id=48145二：如果VC redit.exe安装失败，可以尝试更新系统到win7 serv...

2018-07-18 17:53:48 30504

原创 MongoDB数据库基本命令

成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令：show dbs:显示数据库列表 show collections：显示当前数据库中的集合（类似关系数据库中的表） show users：显示用户MongoDB没有创建数据库的命令，但有类似的命令。如：如果你想创建一个“myTest”的数据库，先运行use...

2018-07-17 11:31:23 25427

原创简单说说MySQL中的事务

1：事务是什么 MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你即需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务。事务处理可以用来维护数据库的完整性，保证成批的 SQL 语句要么全部执行，要么全部不执...

2018-07-16 22:22:11 26036

转载 MySQL基本优化方案

1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很好的完成任务了。同样...

2018-07-16 22:04:23 25570

转载 web高并发量的处理方案

一个小型的网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的ht...

2018-07-16 21:46:30 26911

转载 web电商网站大规模高并发请求和抢购的解决方案

电商的秒杀和抢购，对我们来说，都不是一个陌生的东西。然而，从技术的角度来说，这对于Web系统是一个巨大的考验。当一个Web系统，在一秒钟内收到数以万计甚至更多请求时，系统的优化和稳定至关重要。这次我们会关注秒杀和抢购的技术实现和优化，同时，从技术层面揭开，为什么我们总是不容易抢到火车票的原因？一、大规模并发带来的挑战在过去的工作中，我曾经面对过5w每秒的高并发秒杀功能，在这个过程中，整...

2018-07-16 21:42:48 25981

原创 Mongodb的介绍和安装

一：nosql的介绍“NoSQL”⼀词最早于1998年被⽤于⼀个轻量级的关系数据库的名字随着web2.0的快速发展， NoSQL概念在2009年被提了出来NoSQL在2010年⻛⽣⽔起，现在国内外众多⼤⼩⽹站，如facebook、 google、淘宝、京东、百度等，都在使⽤nosql开发⾼性能的产品对于⼀名程序员来讲，使⽤nosql已经成为⼀条必备技能NoSQL最常⻅的解...

2018-07-15 21:42:54 26724

原创 python爬虫之selenium安装以及使用

一：Selenium的介绍Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏二：PhantomJS的介绍PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器...

2018-07-15 21:25:15 26504

原创 Flask和Django区别

Flask：1：轻量级web框架，只有一个内核，默认依赖两个外部库：Jinja2 模板引擎和 Werkzeug WSGI 工具集，自由，灵活，可扩展性强，开发者可以根据需求自己造轮子2：适用于做小型网站以及web服务的API，开发大型网站无压力，架构需自行设计3：与关系型数据库结合不弱于Django，而与非关系型数据库的结合远远优于DjangoDjango：1：重量级web框架,...

2018-07-14 11:09:42 32344

xiamoyanyulrq的博客