目录
1.爬取下数据后,在插入时,没有添加id,致使不报错,数据库没有数据。
spring整合mybatis,是自动提交的,所以不存在没有提交的问题
2.导入solr时,由于数据库id重复,致使solr发生相同id替换的问题,数据少于数据库数据
再导入时,手动修改id值 ,修改为不同的id
再导入时还需要将数据源中的自动提交或关闭 删去或关闭
清空solr
<delete><query>*:*</query></delete>
<commit/>
导入用工具类
solr5.3 如何配置使用UUID解决id覆盖问题 注意版本号
查询重复数据
SELECT id,url,title,content,item,remake,TIME FROM spyide GROUP BY url;
去除重复数据
CREATE TABLE tmp SELECT id,url,title,content,item,remake,TIME FROM spyide GROUP BY url;
DROP TABLE spyide;
ALTER TABLE spyide RENAME TO copy;
求并集
CREATE TABLE tmp SELECT*FROM copy GROUP BY url UNION SELECT *FROM spyide GROUP BY url;
内连接 求交集
SELECT * FROM spyide a INNER JOIN copy b ON a.url = b.url;
html5标签用css限制显示行数(字数)
<p style="display: -webkit-box;-webkit-line-clamp: 3行数;-webkit-box-orient: vertical;overflow: hidden;">
</p>
$("p") 选取 <p> 元素。
$("p.intro") 选取所有 class="intro" 的 <p> 元素。
$("p#demo") 选取所有 id="demo" 的 <p> 元素。
- text() - 设置或返回所选元素的文本内容
- html() - 设置或返回所选元素的内容(包括 HTML 标记)
- val() - 设置或返回表单字段的值
得到$(this)到底是哪个标签
原生JS DOM里有一个内置属性 outerHTML,用来获取当前节点的html代码(包含当前节点),所以用jQuery的prop()能拿到。
$(".test").prop("outerHTML");
jquery设置outerhtml
$('.test').prop('outerHTML', '<div>');
从性能上对比,.prop() > .data() > .attr()
prop()的设计目标用于设置或获取指定DOM元素(指的是JS对象,Element类型)上的属性(property);
attr()的设计目标是用于设置或获取指定DOM元素所对应的文档节点上的属性(attribute)。
jQuery中attr()、prop()、data()用法及区别
去掉字符串起始和结尾的空格。
$.trim(string1) == $.trim(string2)
JS 设置/获取session
$.session.set('token', result.accessToken) 这个要引用库jquerySession.js
添加数据
$.session.set('key', 'value')
删除数据
$.session.remove('key');
获取数据
$.session.get('key');
清除数据
$.session.clear();
去除文本的标签
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>去除所有标签</title>
</head>
<script>
function matchReg(str){
let reg=/<\/?.+?\/?>/g;
console.log(str.replace(reg,''));
}
matchReg(`<p>去除所有html标签,<img/><My-Tag class="abc" value="test">自定义标签也可以去除哦</My-Tag></p>`);
</script>
<body>
</body>
</html>
22号遇到的问题点
当鼠标在评论区时,滑动滚轮为评论区上下滑动
当鼠标移出时,则页面上下滑动
$('.plcontainer').hover(
function(){ //第一个函数为鼠标停留在评论框上
$('.plcontainer').css('cursor','pointer');
var isPage=$('#isPage').text('true'); //设为true后,页面之间的切换就无法进行,评论框的滚轮可以动
},function(){//第二个函数为鼠标移出评论区div后,将值改为flase
var isPage=$('#isPage').text('false');
}
)
js得到随机数
/*n到m之间任意一个数*/
function rnd(n, m){
var random = Math.floor(Math.random()*(m-n+1)+n);
return random;
}
Js得到由时间和随机数组成的uuid
function uuid(){
var nowDate = new Date();
var year = nowDate.getFullYear();
var month = filterNum(nowDate.getMonth()+1);
var day = filterNum(nowDate.getDate());
var hours = filterNum(nowDate.getHours());
var min = filterNum(nowDate.getMinutes());
var seconds = filterNum(nowDate.getSeconds());
return year+month+day+hours+min+seconds+rnd(1,9);
}
function filterNum(num){
if(num < 10){
return "0"+num;
}else{
return num;
}
}
ajax返回的数据有三种类型 xml,json,text
contentType:"text/html;charset=UTF-8",通过这个解决返回是问号的情况 表示返回来的数据类型
dataType: "json" 表示发送过去的数据类型
可以返回页面中文乱码情况
response.setContentType("text/xml;charset=UTF-8");
response.setHeader("Cache-Control", "no-cache");
response.setCharacterEncoding("UTF-8");
25号遇到的问题点
创建存储过程
DELIMITER $$
CREATE
/*[DEFINER = { user | CURRENT_USER }]*/
PROCEDURE `aku`.`del`()
/*LANGUAGE SQL
| [NOT] DETERMINISTIC
| { CONTAINS SQL | NO SQL | READS SQL DATA | MODIFIES SQL DATA }
| SQL SECURITY { DEFINER | INVOKER }
| COMMENT 'string'*/
CONTAINS SQL
BEGIN
DELETE FROM spyide WHERE title="";
CREATE TABLE temp SELECT * FROM spyide GROUP BY url;
DROP TABLE spyide;
ALTER TABLE temp RENAME TO spyide;
END$$
DELIMITER ;
在mapper接口中定义
在mapper.xml文件中定义
可以参考 MySQL存储过程的创建及调用
既可以发生调用
solr得到总索引数目
public long getMaxId() {
SolrQuery query = new SolrQuery("*:*");
query.setStart(0);
query.setRows(0);
QueryResponse queryResponse = null;
long numFound =0;
SolrServer solrServer = solrTemplate.getSolrServer();
try {
queryResponse=solrServer.query(query);
} catch (SolrServerException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
numFound= queryResponse.getResults().getNumFound();
return numFound;
}
将Long型转换为int 型的,这里的Long型是包装类型:
Long a = 10; int b=a.intValue();
spring定时任务两种方式
1.在spring-servlet.xml文件中加入task的命名空间:
xmlns:task="http://www.springframework.org/schema/task"
xsi:schemaLocation="http://www.springframework.org/schema/task
http://www.springframework.org/schema/task/spring-task-4.0.xsd"
然后使用task配置扫描注解
<!-- 定时任务 -->
<task:annotation-driven scheduler="qbScheduler" mode="proxy"/>
<task:scheduler id="qbScheduler" />
此时就可以直接使用@Scheduled(cron = "时间格式串"),应用该注解就可以实现定时的功能
@Scheduled(cron = "0/5 * * * * ?") //每隔5秒执行一次定时任务
public void consoleInfo(){
System.out.println("定时任务");
}
第二种方法为:不使用注解实现定时任务,将定时的功能在spring配置文件中实现。
xmlns:task="http://www.springframework.org/schema/task"
xsi:schemaLocation=" http://www.springframework.org/schema/task
http://www.springframework.org/schema/task/spring-task-3.0.xsd”
<description>
定时任务
</description>
//定时注解驱动
<task:annotation-driven />
//进行定时任务的类,将其定义为一个bean
<bean id="spaceStatisticsService" class="com.pojo.system.manager.sigar.impl.SpaceStatisticsServiceImpl"></bean>
//通过task标签,定义定时功能
<task:scheduled-tasks>
<task:scheduled ref="spaceStatisticsService" method="statisticSpace" cron="59 59 23 * * ?" />
</task:scheduled-tasks>
要实现的代码部分为:
@Service
public class SpaceStatisticsServiceImpl implements SpaceStatisticsService
{
@Override
public void statisticSpace()
{
System.out.println("实现定时功能");
}
}
spring定时任务的时间配置
单纯针对时间的设置规则
org.springframework.scheduling.quartz.CronTriggerBean允许你更精确地控制任务的运行时间,只需要设置其cronExpression属性。
一个cronExpression表达式有至少6个(也可能是7个)由空格分隔的时间元素。从左至右,这些元素的定义如下:
1.秒(0–59)
2.分钟(0–59)
3.小时(0–23)
4.月份中的日期(1–31)
5.月份(1–12或JAN–DEC)
6.星期中的日期(1–7或SUN–SAT)
7.年份(1970–2099)
0 0 10,14,16 * * ?
每天上午10点,下午2点和下午4点
0 0,15,30,45 * 1-10 * ?
每月前10天每隔15分钟
30 0 0 1 1 ? 2012
在2012年1月1日午夜过30秒时
0 0 8-5 ? * MON-FRI
每个工作日的工作时间
各个时间可用值如下:
秒0-59 , - * /
分0-59 , - * /
小时0-23 , - * /
日1-31 , - * ? / L W C
月1-12 or JAN-DEC , - * /
周几1-7 or SUN-SAT , - * ? / L C #
年(可选字段) empty, 1970-2099 , - * /
可用值详细分析如下:
“*”——字符可以用于所有字段,在“分”字段中设为"*"表示"每一分钟"的含义。
“?”——字符可以用在“日”和“周几”字段.它用来指定'不明确的值'.这在你需要指定这两个字段中的某一个值而不是另外一个的时候会被用到。在后面的例子中可以看到其含义。
“-”——字符被用来指定一个值的范围,比如在“小时”字段中设为"10-12"表示"10点到12点"。
“,”——字符指定数个值。比如在“周几”字段中设为"MON,WED,FRI"表示"the days Monday, Wednesday, and Friday"。
“/”——字符用来指定一个值的的增加幅度.比如在“秒”字段中设置为"0/15"表示"第0, 15, 30,和45秒"。而"5/15"则表示"第5, 20, 35,和50".在'/'前加"*"字符相当于指定从0秒开始.每个字段都有一系列可以开始或结束的数值。对于“秒”和“分”字段来说,其数值范围为0到59,对于“小时”字段来说其为0到23,对于“日”字段来说为0到31,而对于“月”字段来说为1到12。"/"字段仅仅只是帮助你在允许的数值范围内从开始"第n"的值。
“L”——字符可用在“日”和“周几”这两个字段。它是"last"的缩写,但是在这两个字段中有不同的含义。例如,“日”字段中的"L"表示"一个月中的最后一天" ——对于一月就是31号对于二月来说就是28号(非闰年)。而在“周几”字段中,它简单的表示"7" or "SAT",但是如果在“周几”字段中使用时跟在某个数字之后,它表示"该月最后一个星期×" ——比如"6L"表示"该月最后一个周五"。当使用'L'选项时,指定确定的列表或者范围非常重要,否则你会被结果搞糊涂的。
“W”——可用于“日”字段。用来指定历给定日期最近的工作日(周一到周五)。比如你将“日”字段设为"15W",意为: "离该月15号最近的工作日"。因此如果15号为周六,触发器会在14号即周五调用。如果15号为周日,触发器会在16号也就是周一触发。如果15号为周二,那么当天就会触发。然而如果你将“日”字段设为"1W",而一号又是周六,触发器会于下周一也就是当月的3号触发,因为它不会越过当月的值的范围边界。'W'字符只能用于“日”字段的值为单独的一天而不是一系列值的时候。
“L”和“W”可以组合用于“日”字段表示为'LW',意为"该月最后一个工作日"。
“#”——字符可用于“周几”字段。该字符表示“该月第几个周×”,比如"6#3"表示该月第三个周五( 6表示周五而"#3"该月第三个)。再比如: "2#1" =表示该月第一个周一而"4#5" =该月第五个周三。注意如果你指定"#5"该月没有第五个“周×”,该月是不会触发的。
“C”——字符可用于“日”和“周几”字段,它是"calendar"的缩写。它表示为基于相关的日历所计算出的值(如果有的话)。如果没有关联的日历,那它等同于包含全部日历。“日”字段值为"5C"表示"日历中的第一天或者5号以后",“周几”字段值为"1C"则表示"日历中的第一天或者周日以后"。
对于“月份”字段和“周几”字段来说合法的字符都不是大小写敏感的。
一些例子:
"0 0 12 * * ?"每天中午十二点触发
"0 15 10 ? * *"每天早上10:15触发
"0 15 10 * * ?"每天早上10:15触发
"0 15 10 * * ? *"每天早上10:15触发
"0 15 10 * * ? 2005" 2005年的每天早上10:15触发
"0 * 14 * * ?"每天从下午2点开始到2点59分每分钟一次触发
"0 0/5 14 * * ?"每天从下午2点开始到2:55分结束每5分钟一次触发
"0 0/5 14,18 * * ?"每天的下午2点至2:55和6点至6点55分两个时间段内每5分钟一次触发
"0 0-5 14 * * ?"每天14:00至14:05每分钟一次触发
"0 10,44 14 ? 3 WED"三月的每周三的14:10和14:44触发
"0 15 10 ? * MON-FRI"每个周一、周二、周三、周四、周五的10:15触发
"0 15 10 15 * ?"每月15号的10:15触发
"0 15 10 L * ?"每月的最后一天的10:15触发
"0 15 10 ? * 6L"每月最后一个周五的10:15