框架和开源项目
文章平均质量分 70
yuyi_000
这个作者很懒,什么都没留下…
展开
-
阿里云-project--连接sdk--调用1
之前一直用的是C# 和visual studio 2010 + sql server看过我之前博客的朋友肯定知道我最近在痛苦的转变:转成java + eclipse所以算有一点的编程语法基础吧,但是工具的使用还是空白想通过这个项目好好补补:把阿里云下载下来的sdk解压会有两个jar包至于怎么导入到自己的项目里呢?在工程项目的根目录点击右键查看属性(Prope原创 2015-07-06 18:39:55 · 342 阅读 · 0 评论 -
shell脚本学习 五
case “字符串变量” in值1) 指令1;;值2)指令2;; *) 指令esac[3-9] 表示 3到9 的整数apple|APPLE 中间可以用或给文字加颜色,就是在文字两头加上特定的字串字颜色:30—–37 echo -e “\033[30m 黑色字 \033[0m” echo -e “\033[31m 红色字 \033[0m原创 2015-09-27 01:13:30 · 396 阅读 · 0 评论 -
python 爬虫4 一些编程注意项目
现在大家很多都用iphone 手机,iphone 手机的emoji表情虽然是utf8 格式的,但是是4字节长度的,但是mysql utf8 编码集是三字节的所以存入的时候会有问题。utf8mb4作为utf8的超集,也是向下兼容utf8的,所以不用担心字符的兼容性问题。但是切换后生效,需要重新启动mysql服务端,对业务库会存在一定的影响。(官方文档介绍说是动态修改配置,本人没有测试过,原创 2015-09-12 09:20:19 · 429 阅读 · 0 评论 -
shell脚本学习 6 补充
缺省值(:-)如果变量后面跟着冒号和减号,则变量后面跟着是这个变量的缺省值。$ COMPANY=$ printf “%s/n” “${COMPANY:-Unknown Company}”Unknown Company变量的实际值可以保持不变。冒号也可以省略掉不用:$ COMPANY=$ printf “%s/n” “${COMPANY-Nightlight Inc.转载 2015-09-26 23:32:29 · 262 阅读 · 0 评论 -
shell 脚本学习七
产生uuid 的方法 cat /proc/sys/kernel/random/uuidxxxxx; done|sort|uniq -c|sort| -nk1 排序,去重,排序 按照数字大小 按照第一个区间排序添加ip地址的命令 ifconfig eth0:1 10.0.2.15 netmask 255.255.240.0 up查看结果 ifconfig原创 2015-09-28 21:21:34 · 462 阅读 · 0 评论 -
linux ubuntu 虚拟机系统文件补充章
今天碰到一个比较头疼的问题,师弟要用电脑,导师让我把我正在做实验的电脑分给他用。。。师弟倒是人不错,说没关系,让我继续再他的机器上跑分布式实验。。。可这让我怎么好意思还好我用的是虚拟机系统,然后我把整个虚拟机系统,包括克隆版本都全部拷到硬盘里,放到另外一台机器上了。。。什么?为什么不让师弟用另外一台机器?额,这台机器原来是大师兄的,现在大师兄走了,然后就顺带借着用一下。。。原创 2015-10-01 16:20:11 · 416 阅读 · 0 评论 -
java socket 编程原理 转
转自 http://www.blogjava.net/Reg/archive/2010/07/17/326392.html Java网络socket编程详解7.2 面向套接字编程 我们已经通过了解Socket的接口,知其所以然,下面我们就将通过具体的案例,来熟悉Socket的具体工作方式7.2.1使用套接字实现基于TCP协议的服务器和客户机程序转载 2015-10-18 19:52:17 · 525 阅读 · 0 评论 -
ubuntu github 使用
1. 安装Git1.1 Ubuntu12.04下可以使用apt-get方式安装,也可以下载源代码安装【1】,我们这里使用apt-git安装。但由于直接使用 sudo apt-get install git 安装的版本较老,因此我们参考【2】中给出的PPA源。sudo add-apt-repository ppa:git-core/ppasudo apt-get update转载 2015-10-19 09:07:44 · 387 阅读 · 0 评论 -
mongodb常用操作
查看全部数据表> useChatRoomswitched to dbChatRoom> showcollectionsAccountChatsystem.indexessystem.users 创建数据表>db.createCollection("Account"){"ok":1} >db.createCollection("Test",{cap转载 2015-10-23 18:44:24 · 405 阅读 · 0 评论 -
ubuntu 操作补充 查找文件 和 awk
1.whereis 文件名 特点:快速,但是是模糊查找,例如 找 #whereis mysql 它会把mysql,mysql.ini,mysql.*所在的目录都找出来.我一般的查找都用这条命令. 2.find / -name 文件名 特点:准确,但速度慢,消耗资源大,例如我想找到php.ini的准确位置,就需要用 #find / -name php.ini 3.loc原创 2015-10-23 19:46:03 · 1180 阅读 · 0 评论 -
爬虫新任务
今天又收到一个奇怪的爬虫任务,爬取政府的xxx公共网站额,奇怪的需求,奇怪的要求碰到的三个问题是:1、ajax 请求。。其实发现根本不难啊,和原来的爬取过程一样啊。都已经把必要的请求全部取出了,按照必要的顺序和格式请求过去就可以了2、验证码请求这个确实是一个难点,因为如果验证码做的好,确实很难识别,而且还要自己写对应的训练库。但是这里的验证码比较简单用ubunt原创 2015-10-26 22:15:12 · 800 阅读 · 0 评论 -
weibocatch mysql 和 mongodb 还原
mysql -u root -p weibocatchmongodb 的恢复比较奇怪,要先用一个终端脸上mongodb 然后用另一个新终端执行如下命令mongorestore -d weibocatch --drop /mysqlbackup/mongobackup/20150924-09/weibocatch/--drop 表示要先删掉原来的文档。在进行恢复,否则就会有键值id的原创 2015-09-26 12:48:54 · 429 阅读 · 0 评论 -
常用sql 各种连接的区别和细分
转自:http://www.cnblogs.com/jinianjun/archive/2011/11/08/2240525.html首先划分一下,连接分为三种:内连接、外连接、交叉连接 内连接(INNER JOIN): 分为三种:等值连接、自然连接、不等连接 外连接(OUTER JOIN): 分为三种: 左转载 2015-11-19 15:40:32 · 764 阅读 · 0 评论 -
linux超级块和inode 详解 和 df 、du 命令详解与环境变量
一、inode块,Unix文件的核心。 首先需要明白的是,在Unix操作系统中的任何资源都被当作文件来管理。如目录、光驱、终端设备等等,都被当作是一种文件。从这方面来说,Unix操作系统中的所有的目录、硬件设备跟普通文件一样,具有共同的属性。而这些属性的话,就是保存在inode块中。 Inode块中保存了一个文件系统中的全部Inode节点。也就是说,当系统创建了一个文件(或者添加了一个转载 2016-05-22 00:36:45 · 6158 阅读 · 0 评论 -
今天突然ubuntu下的virtual box出问题了
Kernel driver not installed (rc=-1908)The VirtualBox Linux kernel driver (vboxdrv) is either not loaded or there is a permission problem with /dev/vboxdrv. Please reinstall the kernel module by ex原创 2016-07-15 16:28:38 · 7870 阅读 · 3 评论 -
linux /etc/bash.bashrc 下的环境变量 一定要把path export 出来啊。。。
linux /etc/bash.bashrc 下的环境变量 一定要把path export 出来啊。。。设置的其他 单独 有用的 变量也要export 出来。不然系统不认啊。。。类似于你只写了个没用的字符串啊,系统没有把它认作是操作环境的命令啊。。。不然很多是没法用的,没法识别的。。。原创 2016-07-27 23:02:54 · 2994 阅读 · 0 评论 -
linux 系统 分级命令目录作用,软硬中断,查看具体进程启动信息
中断部分内容参考自:http://blog.csdn.net/zhangskd/article/details/21992933进程查看部分参考自:http://blog.csdn.net/zheng0518/article/details/42964913首先注意usr指 Unix System Resource,而不是User然后通常/usr/bin下面的都是系统预装的原创 2016-07-21 16:25:49 · 1452 阅读 · 0 评论 -
shell脚本学习 四
碰到不能写入的情况:df -h 查看当前文件系统的容量,看看是不是满了然后touch 一下新文件,看看是否可以生成,不能生成就是只读文件系统的状态碰到只读文件系统的时候,reboot 一下然后输入密码,然后用fsck 命令 -A 来修复一下检查完了然后再reboot 就可以了netstat 查看进程-a (all)显示所有选项,默认不显示LI原创 2015-09-26 21:46:34 · 422 阅读 · 0 评论 -
shell脚本学习 三
time for i in $(seq 11111);do count=`echo expr length "${chars}"`;done;time 表示打出当前脚本运行时间,后面的语句 表示求字符长度变量的数值计算:((a=xxxxx))b=$((xxxxxx)) 只能计算整数++ -- 变量在前,先输出变量值,变量在后,就是先运算后输出变量的值** 表示幂原创 2015-09-26 01:56:50 · 389 阅读 · 0 评论 -
java 设计模式 责任链 filter
从前往后按照一定操作顺序进行 申明一个过滤器接口,里面有一个“方法申明” 叫 规则过滤,返回处理后的结果申明一些具体的操作类,全部实现过滤器接口,重写里头规则过滤的方法,返回规则处理后的结果写法:返回结果 m= new 具体实现类().规则过滤();更多的操作类组成的规则过滤 集合 可以放到一个数组里,接着按照遍历操作数组,按照顺序操作即可for(Filter f:原创 2015-07-20 23:50:53 · 658 阅读 · 0 评论 -
java 设计模式 工厂模式
工厂模式:单例模式:静态工厂方法类Car 在类内部产生产生对象写法:private static Car car=new Car(); //从头到尾都只有一个carprivate Car(){} // 把构造方法设为空public static Car getInstance(){//这里就可以加上限制条件了。。。就没有直接new car 那么方便了//原创 2015-07-20 21:17:39 · 379 阅读 · 0 评论 -
java 设计模式 策略模式,comparable 接口,compareTo 方法
重点在于判断 对象 谁大谁小尤其是比较类对象的 “谁大谁小”打印类对象 print(a) 必须在类里要重写 toString() 方法@Overridepublic String toString(){return this.food+"";//后面那个双引号是为了把整个转成字符串。不能直接int打印出}对多种类型(当然都是同种类型)来比较比原创 2015-07-20 22:16:20 · 1211 阅读 · 0 评论 -
java 设计模式 Iterator 容器与容器遍历
容器 ,不用考虑边界(动态扩展),并且知道长度所有的容器里都有一个加入方法,和一个 求长度方法先设定指定大小的数组,一旦装满了,再开辟新的一块空间再继续装可以用数组或者 链表来实现:数组实现:Object[] objects = new Object[10];int index = 0;public void add(Object o) {if原创 2015-07-20 23:01:52 · 454 阅读 · 0 评论 -
python 爬虫1 开始,先拿新浪微博开始
刚刚开始学。目的地是两个,一个微博,一个贴吧存入的话,暂时还没想那么多,先存到本地文件夹吧ubuntu14.04 python 自带,安装了一个beautifulsoup 的 解析器 ,这里我装的是新版本,不是apt-get自带的版本#安装版本4apt-get install python-bs4 python-bs4-doc开始import原创 2015-07-26 23:10:17 · 1141 阅读 · 0 评论 -
mysql 的分库分表操作
转自:http://wentao365.iteye.com/blog/1740874 刘文涛 前辈和转自 http://my.oschina.net/ydsakyclguozi/blog/199498 博客这里讲的是理论。路由机制和同步机制一般写在业务逻辑代码里和使用一些成熟的mysql 框架和插件(amoeba,Cobar) 解决。单库单表 单库单表是最常见转载 2015-08-02 10:54:56 · 2733 阅读 · 1 评论 -
java 设计模式 观察者模式
观察者模式第一版:不断循环package luis;class Child implements Runnable{private boolean wakenUp=false;public boolean isWakenUp() {return wakenUp;}public void setWakenUp(boolean wakenUp) {this.wa原创 2015-07-23 00:43:27 · 340 阅读 · 0 评论 -
java 设计模式 动态代理
动态代理的工作是:在一段程序的外面在包上一段其他程序,这样就会比较方便这里要注意,是指的是在仅仅是方法外层包上一层其他方法,而不是抱在jdk把方法实例化后再包上其他方法如果实例化后,这里会包上一层jdk 为程序运行加上的虚拟机程序首先应该想到的是继承:重写类的方法,调用父类方法用super.xxxx(),然后加入新的“包括” 方法其次应该想到聚合(一个类里头有另外一个类原创 2015-07-22 22:29:49 · 351 阅读 · 0 评论 -
java设计模式,观察者模式与awt 和模拟awt
java 自己的 button事件 awt 源码分析,摘自尚学堂,多看几遍package com.bjsxt.dp.observer.awt;import java.awt.Button;import java.awt.Frame;import java.awt.event.ActionEvent;import java.awt.event.Acti原创 2015-07-23 00:46:21 · 557 阅读 · 0 评论 -
Java设计模式 Bridge(桥接)Adapter,command,State,Mediator,Facade
Bridge 桥接模式最高级父类往子类扩展的时候有多个维度的扩展,这多个维度的扩展却又有交集解决方式:让其中一个维度从具体的中间 类 继承让多个维度做排列组合,利用聚合。在最高级父类里 包含 中间类的 申明用聚合代替继承,会经常使用的手段多个维度,排列组合用桥接模式Adapter 适配器模式JDBC-ODBC Bridgejava.i原创 2015-07-23 11:31:07 · 676 阅读 · 0 评论 -
python 爬虫3 新浪微博 爬虫 实战
这次的项目 和文件都放到了 github 上 https://github.com/poiu1235/weibo-catch:有兴趣的可以follow一下,或者点个赞咯我这里采用的深度挖掘的方式:没有设定爬取的边界(这个以后是要考虑的)大致的思路是,用自己的 账号登陆后,获取自己的微博列表和朋友列表。然后根据朋友列表然后在爬取对方的微博列表和朋友列表。原创 2015-08-30 17:03:14 · 3657 阅读 · 0 评论 -
python爬虫补充章,在总控节点那台机器上安装mongodb和redis数据库 都是非apt方法
因为发现爬虫爬取出来的数据如果按照表结构划分后存储,不仅麻烦而且非常大的冗余干脆试试用这样的非关系数据库来试试存储效果如何。这里我不打算用redis 进行比较,因为他是内存数据库,他擅长的领域应该是缓存和少量数据的统计归类(做这个的还有另外一大家伙memcache),redis 以后相配合 其他应用提高效率的。这里相比较的主要是mongodb和mysql 的性能差,就特定指的是这样原创 2015-08-04 21:45:20 · 811 阅读 · 0 评论 -
python 爬虫2 介绍一下怎么抓取cookies,python多线程
读取cookies 可以这样:filename='FileCookieJar.txt' ckjar = cookielib.MozillaCookieJar() #这里读取cookie ckjar.load(filename, ignore_discard=True, ignore_expires=True) for it原创 2015-08-03 20:38:37 · 1160 阅读 · 0 评论 -
ubuntu apt-软件安装方式具体用法
apt-get如何在ubuntu下面直接查找想要安装的软件?比如我想安装tomcat,但是我又不知道ubuntu里面有哪些版本,也不知道都需要装什么,但是我能确认我装的是tomcat,那么我就可以用搜索命令:例如:apt-cache search tomcat,这样我就会得到以下的结果:libtomcat5-java - Java Servlet engine -- cor转载 2015-08-03 19:40:55 · 1041 阅读 · 0 评论 -
shell脚本学习 一
这里只记录linux下的脚本编程/var/log 下的messages 是系统日志文件$whoami %显示当前用户$ echo $UID %显示当前用户UID 默认全局变量,0 是root 用户exit 1 表示 执行失败 退出系统exit 0 表示 执行成功 退出系统if ["$UID" -ne "$ROOT_UID"] %-ne 为not equ原创 2015-09-24 22:10:08 · 296 阅读 · 0 评论 -
shell脚本学习 二
查看history root用户下用命令 history系统变量TMOUT=6 #6秒不操作就退出当前连接tail -1 表示 读出倒数第一行定义全局变量的方法:1、export 变量名=value2、变量名=value;export 变量名导出一下,其他程序就可以用环境变量常用的放在/etc/profile里头单引号不会解析单引号里面内容双引号会把原创 2015-09-25 16:30:03 · 383 阅读 · 0 评论 -
终于完全学会fdisk 分配虚拟机命令了
重新启动虚拟机,进入查看新的硬盘情况:fdisk -l1.查看现有的硬盘分区(现在空间没有变大)#df -h这里是fdisk 操作的过程哦。其实fdisk 也是一个工具,linux里头划分磁盘的工具2.对新增的硬盘空间做新增分区(硬盘数没有增加,增加的是空间)#fdisk /dev/sdaCommand (m for help): n 说明:原创 2016-08-09 19:02:04 · 3047 阅读 · 0 评论