整理网页资料加入App的流程

整理网页资料加入App的流程

编者：李国帅

qq：9611153 微信lgs9611153

时间：2019/11/11

起因:

以前收集了一些电子图书，后来学了android编程，就像把它们放到app里，自己有时间的话就会翻翻，比起直接看txt应该好很多。

 

步骤：

         网上的资料很多都是html的形式，需要格式化才能放到app。这需要一个流程，我就是按照下面的流程来做的。

说明：

1、下载。

首先我们不管爬的网页，还是下的chm书，都会是html的形式。

2合并。

我们可能一次下载成千上万的文章，这时候，就需要进行分门别类的进行合并，这样处理起来才会更方便。

3、提出html标记。

把那些无用的标记去除，但是注意：一个笑话可能有标题，需要对标题和内容使用特殊符号标出来。

4、除杂。

从上面步骤获取的文件依然有很多乱七八糟的符号文字，依然出需要整理。

5、断句处理。

走到这一步，基本上文章已经定型，只需要做一些修饰处理了。

因为html格式的原因，会有一些句子还没有结束就直接换行了。所以需要判断一句话是否结束，如果不是以？。这些符合结束的，又不是标题，可以合并这一行。

6、文件格式化

对文件进行格式化，让程序能够判断一个文件中，那些是标题，那些是内容。

如果资料很多，那些没有标题的文章可以舍弃，因为开发者不是编辑。

7、文字审查

对文件进行简单审查，抛弃那些不完整，重复，低俗的内容。

8、入库。

编写一个小程序，把txt中的文章一个个的存入sql数据库中。

9、排错

使用数据库查询语句删除那些不符合要求的文章，删除重复的文章。

10、加密

放入程序之前，可以使用数据库加密工具进行简单加密。

主要方法：

文本正则式处理。

编写简单程序，进行字符串处理。

Sql语句删除重复。

 

处理原则

基于所处理的文章都非常小，对段落和句子的区别要求很松，所以既可以一句一段，也可以只使用一个段落。这一点在处理的可以节省很多时间。

同时这些程序只是整理而不是创作，并且资料量很大，所以没有必要对每个文章进行审核，觉得不合适的部分可以进行抛弃，没必要编辑和润饰，毕竟不是编辑人员。

App共享：

有兴趣可以直接问我要。

微云

 

格言卡片

https://share.weiyun.com/58k0SSr

 

笑话大全

https://share.weiyun.com/5eZlO1r

 

阿凡提故事

https://share.weiyun.com/5dCta3O

 

百度网盘

 

阿凡提故事

https://pan.baidu.com/s/1duH0pmOY-zaCmdImRAN8YA

 

格言卡片

https://pan.baidu.com/s/1yFNl5Sx0SBoWzMnkS17JSw

 

笑话大全

https://pan.baidu.com/s/1zy3QHNxGgZ2aZwdTRrhubA