关闭
当前搜索:

mongodb去除重复的数据(二)

前天因为工作需要,开始着手对数据库中两千多万的数据中其中一个字段重复的数据进行去重。原本使用一些测试的数据测试后,前天写的那个方法是可行的,但是当面对这个两千万的真实数据时,我却发现这方法有些不顶用了,最终只好又经过若干次的尝试,总算成功去重。最终总结一下整个过程:1、这个方法就是上一篇所讲的,利用mongodb的游标dbcursor和while循环的方式。var res=db.test.find...
阅读(12134) 评论(3)

mongodb去除重复的数据

今天出现了一个新的需求,有个部门需要拿到mongodb中的数据,要求去掉其中一个字段内容相同的数据。虽然mongodb中有distinct来去重,但是和mysql的distinct不同的是,mysql中能用distinct * 返回整条记录的信息,而mongodb的distinct我却只是返回去重的那个字段的数据(或许mongodb也可以返回整条,但是我不知道)。mysql中的distinct返回...
阅读(20963) 评论(11)

把mmapv1存储引擎存储的mongodb3.0数据库数据复制到WiredTiger存储引擎的mongodb3.2中

mongodb3.0在mmapv1的存储引擎基础上添加了一个新的存储引擎WiredTiger。但是3.0的默认存储引擎依旧是mmapv1,因此我们项目之前也就用的默认方式。但是mongodb更新实在太快,转眼间,从3.0直接跳到3.2,默认的存储引擎也改成了WiredTiger。据说这个引擎具有占用磁盘空间更小,占用内存空间更小,查询效率更高等一系列特点。为了防患于未然,今天尝试了一下把3.0的数...
阅读(4927) 评论(0)

mysql常用基础操作语法(十一)~~字符串函数【命令行模式】

注:sql的移植性比较强,函数的移植性不强,一般为数据库软件特有,例如mysql有mysql的函数,oracle有oracle的函数。1、concat连接字符串:从上图中可以看出,直接使用select concat就可以连接任意两个以上的字符串,同时也可以用来连接查询结果,一般情况中也是会用来连接查询结果。需要注意的是,如果连接的内容有null存在的话,那么结果就只会是null。2、concat_...
阅读(8626) 评论(2)

mysql常用基础操作语法(十)~~子查询【命令行模式】

mysql中虽然有连接查询实现多表连接查询,但是连接查询的性能很差,因此便出现了子查询。1、理论上,子查询可以出现在查询语句的任何位置,但实际应用中多出现在from后和where后。出现在from后的子查询结果通常是多行多列的,充当临时表;而出现在where后的子查询结果通常是单行单列,充当条件:2、where后作为条件的子查询多与“=”、“!=”、“>”、“in和not in:其中in表示包含于...
阅读(12116) 评论(0)

mysql常用基础操作语法(九)~~外连接查询【命令行模式】

1、左外连接left outer join或者left jion,outer可以省略不写,下边的右连接和全连接也一样:左外连接的意思是,以left join左边的表中的数据为基准,即左边的表中有的必须要全部显示出来,如下图:这里第一个查询中,company表在左边,因此就以company为基准,所以显示的结果中除了depart_id相同的6条数据外,还把company中存在的另外一条也显示出来。而...
阅读(11958) 评论(0)

mysql常用基础操作语法(八)~~多表查询合并结果和内连接查询【命令行模式】

1、使用union合并两个查询结果:select 字段名 from tablename1 union select 字段名 from tablename2;注意这个操作必须保证两张表字段相同,字段数据类型也相同。注:下边的几个连接查询涉及到笛卡尔积的概念,即如果存在两张表,第一张记录数为n条,另一张表的记录数为m条,那么笛卡尔积得出的记录数就是n*m条;如果第一张表的字段数为a个,另一张的字段数为...
阅读(10167) 评论(2)

mysql常用基础操作语法(七)--统计函数和分组查询【命令行模式】

注:文中所有的。。。代表多个。1、使用count统计条数:select count(字段名。。。) from tablename;2、使用avg计算字段的平均值:select avg(字段名) from tablename;这里都可以适当的拓展,比如加条件,重命名等等。3、使用sum求和:select sum(字段名) from tablename;4、使用max和min求最大值、最小值:5、注意...
阅读(13894) 评论(0)

Mongodb3.0.5副本集搭建及spring和java连接副本集配置

这是去年写的一篇文档,最近突然发现并没有发不出来,因此现在补上,希望能对某些朋友有所帮助。因为当时记录时没有截图,因此这里看起来可能就比较单调。一、基本环境:mongdb3.0.5数据库spring-data-mongodb-1.7.2.jarmongo-java-driver-3.0.2.jarlinux-redhat6.3tomcat7 二、搭建mongodb副本集:1、  分别在三台linu...
阅读(17650) 评论(0)

mysql常用基础操作语法(六)--对数据排序和限制结果数量的条件查询【命令行模式】

1、使用order by对查询的结果进行排序,asc升序,desc降序:也可以在order by后指定多个字段名和排序方式进行多级排序:2、使用limit限制查询结果的数量:上图中的0,代表查询的开始位置,也可以理解为跳过的数量;上图中的2代表需要查询出的数量。这个表中有3条数据,因为限制了条数为2,因此实际结果只是两条。另外,这里的初始位置是0,实际上可以不写,默认就是0:这里还有一种情况,就是...
阅读(12340) 评论(0)

mysql常用基础操作语法(五)--对数据的简单条件查询【命令行模式】

1、单条件查询:select 字段名 from tablename where 条件;2、简单多条件查询,使用&&或者between and等:3、is null和is not null查询,这里要注意null不是空字符串不是0:4、in和not in查询,相当于是用or把in后边的集合元素连起来。注意如果in后边带的集合中存在null,那么不会影响结果,但not in后边集合中有null,就不会...
阅读(12515) 评论(0)

mysql常用基础操作语法(四)--对数据的简单无条件查询及库和表查询【命令行模式】

1、mysql简单的查询:select 字段1,字段2...  from tablename;如果字段那里写一个*,代表查询所有的字段,等同于指定出所有的字段名,因此如果要查询所有字段的数据,一般都是用*。2、去重查询:select distinct 字段1,字段2... form tablename;可以结合上一张图的结果来对比。3、直接在查询时做数学四则运算,加减乘除余:4、查询时给查询结果字...
阅读(4797) 评论(0)

java发送邮件时遇到的坑

之前用163邮箱发邮件时明明是成功的,但是使用中国移动自己的邮箱时,无论如何在linux服务器中都发送不成功,一开始报如下错误:javax.mail.MessagingException: Unknown SMTP host: mail.chinamobilesz.com at com.sun.mail.smtp.SMTPTransport.openServer(SMTPTrans...
阅读(6786) 评论(0)

eclipse生成【带有外部jar包】的java可执行jar包

之前有写过一篇使用eclipse生成java可执行jar包,但是最近的一次使用中无论如何都不成功,当双击执行打成的jar时,弹出如下错误:could not find the main class:mailTest.SendMailTest1.Program wil exit针对这一问题,我首先想到在上一次编写java聊天小程序打包时的问题,也是这个错误,当时网上说需要更改eclipse中该项目的...
阅读(6844) 评论(0)

mysql常用基础操作语法(三)~~对数据的增删改操作【命令行模式】

1、插入单条数据:insert into tablename(字段名1,字段名2,...) values(值1,值2,...);从图中可以看出,插入时不需要每个字段都有值(在没有相关的约束前提下),但是需要注意的是字段的数量和后边的值的数量必须一致,还要和自定的字段的顺序一致,类型也要一致,否则会报错。另外,如果没有指定任何字段的情况下,默认是选择了所有字段,则必须每个字段都有对应的值,并且需要和...
阅读(6734) 评论(28)

mysql常用基础操作语法(二)~~对表的增删改操作【命令行模式】

1、修改表名:alert table oldtablename rename newtablename; 或者alert table oldtablename rename to newtablename;[图形界面用多了,alter老是敲成alert]2、在表的最后添加一个字段列:alter table tablename add 属性名 属性类型;3、在表的第一列添加字段:alter tabl...
阅读(5878) 评论(8)

使用mongoVUE删除大量数据的情况下失效问题

昨天有一个系统出现了问题,导致半夜时大量的错误数据产生,早晨一早接到上边通知让把这些数据尽数删除。不可否认在数据操作时mongoVUE更加直观,因此一般情况下我也都是使用这个工具,但是今天却出现了问题。首先我查询了一下需要删除的数据的数据量,查询操作正常,如图:然后一样的条件执行删除remove操作,结果就卡在那里许久之后弹出错误提示框如下:几次尝试后均是如此,于是我只好改道使用系统中的命令行进入...
阅读(9425) 评论(3)

java代码调用使用cxf搭建的webService服务传递对象

前边成功创建好一个cxf的webServcie服务,并带了一个无参数的方法。现在进一步尝试了使用带参数的方法,分别测了用String为参数和用自定义的对象为参数。其中,使用String为参数时和不带参数的写法没有什么区别,调用时也就是很普通的调用。但是调用自定义对象为参数的方法时,实际数据并没有传递成功,于是在网上搜索一番后找到了解决办法,成功实现这一功能。具体实现步骤大致如下:1、在服务项目中添...
阅读(5255) 评论(0)

使用CXF和spring搭建webService服务

虽然下一个项目需要使用xfire,但是在查资料的过程中还是看到有不少地方都说cxf比xfire更好,cxf继承了xfire,但是不仅仅包含xfire,因此便也一起来尝试尝试。大概是有了xfire的经验吧,cxf的搭建比xfire快了许多。cxf的许多参数感觉和xfire差不多,因此便不做太多的解释,如果不明白的可以参考之前的xfire搭建来促进理解。搭建过程如下:1、使用eclipse创建一个ma...
阅读(4289) 评论(0)

java程序调用xfire发布的webService服务(二)

在上一篇的调用xfire发布的webService服务中,我只是从服务端返回了一个字符串给客户端,却没有测试从客户端传递数据给服务端。而实际应用中一般是不太可能只出现这样的应用场景的,因此我便更进一步测试了客户端传递数据给服务端。因为相关的jar包在上一篇已经说过,因此便不再重复说明,这次的测试步骤如下:一、测试向服务端传递字符串(重点在第二个):    为了进一步理解服务搭建,我重新写了一个服务...
阅读(4803) 评论(0)
268条 共14页首页 上一页 1 2 3 4 5 ... 下一页 尾页
    有问题要问?点击QQ联系我!
    有需要,qq联系我
    1160569243
    公告栏
    个人资料
    • 访问:787916次
    • 积分:9989
    • 等级:
    • 排名:第2024名
    • 原创:230篇
    • 转载:38篇
    • 译文:0篇
    • 评论:408条