网络神采关键词过滤NET插件

最新推荐文章于 2020-05-29 20:40:34 发布
最新推荐文章于 2020-05-29 20:40:34 发布
阅读量1.7k 收藏 2
点赞数 1
分类专栏： 开源 文章标签： 网络 string 数据库 filter dataset url
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Smart_Books/article/details/6620762
版权

此处代码仅供参考，完整代码请下载附件阅读。

不说废话，直接贴代码：

插件接口实现：

using System;
using System.Collections.Generic;
using System.Collections.Specialized;
using System.Text;
using System.Windows.Forms;
using System.IO;
using Bget.Plugin;

namespace HX_Plug
{
    public class Plug : IBget  //插件接口
    {
        //创建插件
        public void Create(string taskPath, string pluginPath, BgetInformation bgetInfo, Action action, bool firstCall)
        {
            this.WriteLog("创建插件...");
        }

        //销毁插件
        public void Dispose(Bget.Plugin.Action action)
        {
            this.WriteLog("销毁插件...");
        }

        //正在下载内容文件
        public void DownloadContentFile(string url, string path, bool skipIfFileExisted, string cookie, string referer)
        {
            this.WriteLog("正在下载内容文件...");
        }

        //正在下载独立文件
        public string DownloadSingleFile(string url, string path, string fileNamePrefix, bool skipIfFileExisted, string cookie, string referer)
        {
            this.WriteLog("正在下载独立文件...");

            return fileNamePrefix + Path.GetFileName(path);
        }

        //提取结果
        public string ExtractResult(string extractionRule, string dataColumn, string htmlText, string url)
        {
            this.WriteLog("提取结果...");
            return "";
        }

        //正在进行采集结果筛选
        public bool Filter(string result, string extractionRule, string dataColumn, System.Data.DataRow extractingResultRow)
        {
            this.WriteLog("正在进行采集结果筛选...");
            return true;
        }

        //所需选项
        public RequiredOptions GetRequiredOptions()
        {
            this.WriteLog("所需选项...");

            return RequiredOptions.None;
        }

        public Form GetSettingForm(string taskPath, string pluginPath, Bget.Plugin.BgetInformation bgetInfo)
        {
            return new hx_Plug();
        }
        
        //获取代理
        public BgetWebProxy GetWebProxy(string requestingUrl, int retryTimes)
        {
            this.WriteLog("获取代理...");
            return null;
        }

        //从数据库载入起始地址
        public string LoadStartingUrl(string template, ref int position, string cookie)
        {
            this.WriteLog("从数据库载入起始地址...");

            return "http://www.sensite.cn";
        }

        //正在登录
        public string Login(string url)
        {
            this.WriteLog("正在登录...");

            return "";
        }

        //选择下一层网址
        public StringCollection PickNextLayerUrls(string htmlText, string layer, string url, string cookie)
        {
            return null;
        }

        //选择下一个网页网址
        public string PickNextPageUrl(string htmlText, string layer, string url, string cookie)
        {
            return "";
        }

        //正在处理下载后的内容文件
        public void ProcessContentFile(string path, bool skipped)
        {
            this.WriteLog("正在处理下载后的内容文件...");
        }

        //正在处理结果数据行
        public bool ProcessResultRow(System.Data.DataRow extractedResultRow)
        {
            this.WriteLog("《红星关键字过滤插件 V1.0》");
            this.WriteLog(string.Format("过滤:{0}", extractedResultRow[0].ToString()));

            KeywordFilter keyFilter = new KeywordFilter();
            extractedResultRow[1] = keyFilter.On_Filter(extractedResultRow[1].ToString());

            return true;
        }

        //正在处理下载后的独立文件
        public string ProcessSingleFile(string path, string fileNamePrefix, bool skipped)
        {
            this.WriteLog("正在处理下载后的独立文件...");

            return fileNamePrefix + Path.GetFileName(path);
        }

        //正在请求URL
        public string Visit(string url, byte[] postData, string layer, string cookie, string referer)
        {
            this.WriteLog("正在请求URL: " + url);

            return "<html>test</html>";
        }

        public event LogEventHanlder Log;
        
        private void WriteLog(string message)
        {
            if (this.Log != null)
            {
                this.Log(this, new LogEventArgs(message));
            }
        }

        private void WriteLog(string message, int indent)
        {
            if (this.Log != null)
            {
                this.Log(this, new LogEventArgs(message, indent));
            }
        }     
    }
}

具体实现功能代码： 

using System;
using System.Collections.Generic;
using System.Text;
using System.Data;
using System.Windows.Forms;

namespace HX_Plug
{
    /// <summary>
    /// 文章内容过滤类
    /// </summary>
    public class KeywordFilter
    {
        private List<FilterStruct> _filter = new List<FilterStruct>();

        /// <summary>
        /// 构造函数，初始化关键字集合
        /// </summary>
        public KeywordFilter()
        {
            DataTable dt = new DataTable();
            using (DBase db = new DBase())
            {
                dt = db.GetDataTable("select oldValue,newValue from Filter");
            }
            if (dt != null)
            {
                if (dt.Rows.Count != 0)
                {
                    for (int i = 0; i < dt.Rows.Count; i++)
                    {
                        FilterStruct fil = new FilterStruct();
                        fil.OldValue = dt.Rows[i][0].ToString();
                        fil.NewValue = dt.Rows[i][1].ToString();
                        _filter.Add(fil);
                    }
                }
            }
        }

        /// <summary>
        /// 关键词过滤
        /// </summary>
        /// <param name="Content">内容</param>
        /// <returns>过滤后的内容</returns>
        public string On_Filter(string Content)
        {
            Content = ReplaceKeyword(Content);      //常规关键词过滤

            Content = SubContent(Content, 2000);    //切割文章为指定长度

            Content = SpltParagraph(Content);       //打乱句子

            if(Content != string.Empty)
                Content += "《红星关键字过滤系统V1.0》";
            return Content;
        }

        /// <summary>
        /// 过滤常规关键词
        /// </summary>
        /// <param name="Content">内容</param>
        /// <returns>过滤结果</returns>
        private string ReplaceKeyword(string Content)
        {
            for (int i = 0; i < _filter.Count; i++)
            {
                Content = Content.Replace(_filter[i].OldValue, _filter[i].NewValue);
            }
            return Content += _filter.Count.ToString();
        }

        /// <summary>
        /// 句子打乱
        /// </summary>
        /// <param name="Content">原始内容</param>
        /// <returns>打乱结果</returns>
        private string SpltParagraph(string Content)
        {
            string[] Paragraph = Content.Split('。');
            string src = string.Empty;

            if (Paragraph.Length != 0 && Paragraph.Length > 5)
            {
                //随即交换一部分文章以句号分割的段落
                Random r = new Random();
                for (int i = 0; i < Paragraph.Length / 20; i++)
                {
                    Paragraph = RandomParagraph(r.Next(Paragraph.Length), r.Next(Paragraph.Length), Paragraph);
                }

                //重新组合文章内容
                for (int i = 0; i < Paragraph.Length; i++)
                {
                    if (i == 0)
                    {
                        string line = Paragraph[i].ToString();
                        if (line.Length > 8)
                        {
                            line = line.Replace(",", string.Empty);
                            line = line.Replace("\"", string.Empty);
                            line = line.Replace("，", string.Empty);
                            line = line.Replace("“", string.Empty);
                            line = line.Replace("”", string.Empty);
                            line = line.Replace(" ", string.Empty);
                            line = "<h3>" + line.Substring(0, 8) + "</h3>";
                        }
                        src += (line + "<p>" + Paragraph[i].ToString());
                    }
                    else if (i % 5 == 0)
                    {
                        string line = Paragraph[i].ToString();
                        if (line.Length > 8)
                        {
                            line = line.Replace(",", string.Empty);
                            line = line.Replace("\"", string.Empty);
                            line = line.Replace("，", string.Empty);
                            line = line.Replace("“", string.Empty);
                            line = line.Replace("”", string.Empty);
                            line = line.Replace(" ", string.Empty);
                            line = "<h3>" + line.Substring(0, 8) + "</h3>";
                        }
                        src += ("。</p>" + line + "<p>" + Paragraph[i].ToString());
                    }
                    else
                    {
                        src += Paragraph[i].ToString();
                    }
                }

                return src;
            }
            else
            {
                return Content;
            }
        }

        /// <summary>
        /// 随即交换文章内容
        /// </summary>
        /// <param name="start">起始交换处</param>
        /// <param name="end">结束交换处</param>
        /// <param name="Paragraph">段落集合</param>
        /// <returns>交换结果</returns>
        private string[] RandomParagraph(int start, int end, string[] Paragraph)
        {
            if (start != end && start < Paragraph.Length && end < Paragraph.Length)
            {
                string swap = string.Empty;
                swap = Paragraph[start].ToString();
                Paragraph[start] = Paragraph[end].ToString();
                Paragraph[end] = swap;

                return Paragraph;
            }
            else
            {
                return Paragraph;
            }
        }

        /// <summary>
        /// 切割文章为指定长度
        /// </summary>
        /// <param name="Content">文章内容</param>
        /// <param name="length">切割长度</param>
        /// <returns>切割结果</returns>
        private string SubContent(string Content, int length)
        {
            if (Content.Length > length)
            {
                return Content = Content.Substring(0, length);
            }
            else if (Content.Length < 300)
            {
                return string.Empty;
            }
            else
            {
                return Content;
            }
        }
    }

    /// <summary>
    /// 关键词过滤数据结构
    /// </summary>
    public struct FilterStruct
    {
        /// <summary>
        /// 被替换的字符
        /// </summary>
        public string OldValue;

        /// <summary>
        /// 替换后的字符
        /// </summary>
        public string NewValue;
    }
}

数据库底层连接类：（我把这个类写成了个通用的DLL，N久都没换过了） 

using System;
using System.Collections.Generic;
using System.Text;
using System.Data;
using System.Data.OleDb;
using System.Windows.Forms;

namespace HX_Plug
{
    /// <summary>
    ///数据库基本操作类，提供Access数据库基本操作，生存于数据层
    /// </summary>
    public class DBase : IDisposable
    {
        /// <summary>
        /// 数据库是否打开成功标志。成功：True，失败False。
        /// </summary>
        public bool Is_OpenState = false;

        /// <summary>
        /// Access数据库连接字符串
        /// </summary>
        private string strOleConn;

        /// <summary>
        /// Access数据库连接对象
        /// </summary>
        private OleDbConnection oleConn;

        /// <summary>
        /// 构造函数，初始化数据库连接,但不打开数据库
        /// 使用步骤:1.构造对象。2.检测Is_OpenState是否打开成功。3.操作数据库。4.自动或手工释放资源
        /// </summary>
        public DBase()
        {
            strOleConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data source=User.mdb;";    //数据库连接字符串
            oleConn = new OleDbConnection(strOleConn);  //实例化数据库连接对象
            Is_OpenState = Open();  //设置当前数据库打开的状态
        }

        /// <summary>
        /// 打开数据库
        /// </summary>
        /// <returns>数据库打开是否成功。</returns>
        private bool Open()
        {
            try
            {
                //如果当前连接状态为关闭状态，则打开数据库连接
                if (oleConn.State == ConnectionState.Closed)
                {
                    oleConn.Open();
                }
                return true;
            }
            catch
            {
                return false;
            }
        }

        /// <summary>
        /// 关闭数据库
        /// </summary>
        /// <returns>数据库打开是否成功。</returns>
        private bool Close()
        {
            try
            {
                //如果当前连接状态为打开状态，则关闭数据库连接
                if (oleConn.State == ConnectionState.Open)
                {
                    oleConn.Close();
                }
                return true;
            }
            catch
            {
                return false;
            }
        }

        /// <summary>
        /// 释放资源
        /// </summary>
        public void Dispose()
        {
            Close();                //关闭连接
            if (oleConn != null)    //销毁对象
            {
                oleConn.Dispose();
            }
        }

        /// <summary>
        /// 析构函数，自动释放资源
        /// </summary>
        ~DBase()
        {
            Dispose();  //释放资源
        }

        /// <summary>
        /// 执行SqlCommand语句,返回一个DataTable
        /// </summary>
        /// <param name="sqlCommand">SqlCommand语句</param>
        /// <returns>执行成功返回DataTable对象，否则返回Null</returns>
        public DataTable GetDataTable(string sqlCommand)
        {
            DataSet ds = new DataSet();
            try
            {
                OleDbDataAdapter da = new OleDbDataAdapter(sqlCommand, oleConn);
                da.Fill(ds);
                int i = ds.Tables[0].Rows.Count;
                return ds.Tables[0];
            }
            catch
            {
                return null;
            }
        }

        void IDisposable.Dispose()
        {
        }
    }
}

悲哀，没有找到上传附件发功能。需要的话给我留个消息吧，我给你发过去。

附修改：

由于上网时间比较少，急需源代码的童鞋可以直接发送邮件To：549015917@qq.com；注明标题和内容，这样可以得到最快的处理！


Smart_Books
关注
专栏目录
asp.net 敏感关键字过滤
06-30
asp.net 过滤敏感关键字，带有一个过滤关键字列表，.net 3.0上可用。
网络神采共享版
04-09
网络神采共享版
网络神采 网站数据采集软件
yuanrenfei961的专栏
05-10 956
 《网络神采》是一款专业的网络信息采集软件，通过灵活的规则可以从任何类型的网站采集信息，如新闻类网站、论坛、电子商务网站、求职招聘网站等。支持网站登录采集、网站跨层采集、POST采集、脚本页面采集、动态页面采集等高级采集功能。支持存储过程、插件等，可以通过二次开发扩展功能。《网络神采》可以为您做什么？1、网站内容维护：可以定时采集新闻、文章等，并自动发布
技术揭密之：DedeCMS存储过程
肥龙龙专栏
10-14 1546
一、相关介绍什么是“存储过程”？存储过程是由流控制和SQL语句书写的过程，这个过程经编译和优化后存储在数据库服务器中，使用时只要调用即可。通过调用存储过程，对CMS（内容管理系统）、论坛等进行采集结果入库。二、添加文章的存储过程DROP PROCEDURE IF EXISTS AddArchives;CREATE PROCEDURE AddArchives($typeid int, $ad
网络神采 - 最专业的网络信息采集系统! 采集软件_网站采集器_采集程序_新闻采集系统_网络信息采集_文章采集...
weixin_34040079的博客
12-21 258
http://www.sensite.cn/
网络神采 绿色 免费版
09-28
【网络神采 绿色 免费版】是一款专为用户设计的网络工具，它集成了多种实用功能，旨在提供高效、便捷且无广告干扰的网络体验。作为一款绿色软件，它无需安装即可使用，方便用户随身携带，随时随地满足网络需求。免费...
《网络神采》word帮助
07-18
《网络神采》是一款强大的网页数据采集软件，其特点涵盖了通用性、灵活性、扩展性、高效性、速度快、稳定性以及人性化设计。以下是该软件的主要知识点： 1. **通用性**：《网络神采》能够根据用户自定义的采集规则...
网络神采是一款专业的网络信息采集系统
07-08
3、网络信息监控：通过自动抓取新闻、论坛等，然后进行分析处理，可以让您第一时间发现您所关注的内容。 4、文件批量下载：可以批量下载PDF、RAR、图片等各种文件，并同时采集其相关信息。 5、还有很多您想到，我们...
数据采集软件 使用手记
chicaohun7473的博客
11-15 148
1.火车头功能是可以，但是只有付费才能使用到直接入库的功能，麻烦。 它的使用只要完全按照它的chm说明来操作的话，不会有什么大问题，不过一定要借助那个http抓包工具，推荐使用HttpAnalyzerStdV5 2.建议使用网络神采和网站万能信息采集器，易采。 3.网络神采使用比较简单，...
微信小程序项目：tab导航栏
博客
05-29 6889
参看： https://www.cnblogs.com/min-min-min/p/7452880.html 问题： 导航栏如何指向 效果： .js data: { navbar:['推荐','发现'], currentTab:2, }, //响应点击导航栏 navbarTap:function(e){ var that=this; that.setData({ currentTab:e.currentTarget.dataset.idx
asp.net敏感词过滤
weixin_30885111的博客
07-07 357
敏感词过滤是一个能够让用户发表评论的网站的一个很重要的功能（你懂的~） 下面开始全套流程： 1.需要有一套比较完整的词库，由于我的词库很少所以就不贴上来了，网上找找应该很多 2.设计一个可以将词库导入数据库的功能（以最最简单的界面为例，如下图：） 简单到都不好意思贴出来了。。。 3.词库文件的格式有很多 比如： aaa|1 bbb|2 又或者 aaa={bann...
C#关键字快速过滤方法
绝凌峰
08-07 5632
本篇博客讲的方案，思路很简单，还是基于撒列，把每个关键词的第一个字作为key，把关键词作为value，把所有关键词撒列在一个Dictionary中，由于一个关键字可能对应多个关键词，所以value其实是一个关键词集合，通过遍历要过滤的内容，与关键字字典进行匹配，匹配的话就过滤掉，由于思路简单清晰，可能出现的BUG绝对很少，实现的代码才90多行，实现关键字过滤的功能代码才90多行，看到没有！而且效率
关键词过滤
Chooser.or.Choosen
01-12 1290
关键词库创建思路：采用二叉树 zI1NTk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" _xhe_src="http://img.blog.csdn.net/20170112162614359?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfM
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值