php7.0对于敏感词扩展库的兼容

最新推荐文章于 2022-07-07 09:24:52 发布
最新推荐文章于 2022-07-07 09:24:52 发布
阅读量3k 收藏 2
点赞数
分类专栏： PHP 文章标签： filter PHP7 扩展
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoai5324/article/details/62422779
版权

在PHP7.0以后的版本，因为有些方法被废弃，有些方法的参数变掉了，导致，原有的基于PHP5.3版本的敏感词库编译不能通过，因为项目中需要用到敏感词，这几天恶补了下PHP7.0的源码，把敏感词扩展库自己修改了下，目前验证通过了。现在记录下来。

1、php_trie_filter_dtor

static void php_trie_filter_dtor(zend_rsrc_list_entry *rsrc TSRMLS_DC){
Trie *trie = (Trie *)rsrc->ptr;
trie_free(trie);
}
改成了
static void php_trie_filter_dtor(zend_resource *rsrc TSRMLS_DC)
{
Trie *trie = (Trie *)rsrc->ptr;
trie_free(trie);
}
我们发现该函数的参数类型是  zend_resource  。这是 PHP7 新增的数据结构，在 PHP 5 则是  zend_rsrc_list_entry

2、trie_filter_load

PHP_FUNCTION(trie_filter_load)
{
Trie *trie;
char *path;
int path_len;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "s", &path, &path_len) == FAILURE) {
RETURN_NULL();
}
trie = trie_new_from_file(path);
if (!trie) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "Unable to load %s", path);
RETURN_NULL();
}
ZEND_REGISTER_RESOURCE(return_value, trie, le_trie_filter);
}
改成了
PHP_FUNCTION(trie_filter_load)
{
Trie *trie;
char *path;
int path_len;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "s", &path, &path_len) == FAILURE) {
RETURN_NULL();
}
trie = trie_new_from_file(path);
if (!trie) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "Unable to load %s", path);
RETURN_NULL();
}
RETURN_RES(zend_register_resource(trie, le_trie_filter));
}
在 PHP 7 中删除了原来的  ZEND_REGISTER_RESOURCE  宏，直接使用  zend_register_resource  函数 
ZEND_API zend_resource* zend_register_resource(void *rsrc_pointer, int rsrc_type)
参数 解释
rsrc_pointer 资源数据指针
rsrc_type 注册资源类型时获得的资源类型 id
3、trie_search_all
static int trie_search_all(Trie *trie, const AlphaChar *text, zval *data)
{
TrieState *s;
const AlphaChar *p;
const AlphaChar *base;
zval *word = NULL;
base = text;
if (! (s = trie_root(trie))) {
return -1;
}
while (*text) {
p = text;
if(! trie_state_is_walkable(s, *p)) {
trie_state_rewind(s);
text++;
continue;
}
while(*p && trie_state_is_walkable(s, *p) && ! trie_state_is_leaf(s)) {
trie_state_walk(s, *p++);
if (trie_state_is_terminal(s)) {
MAKE_STD_ZVAL(word);
array_init_size(word, 3);
add_next_index_long(word, text - base);
add_next_index_long(word, p - text);
add_next_index_zval(data, word);
}
}
trie_state_rewind(s);
text++;
}
trie_state_free(s);
return 0;
}
改成了
static int trie_search_all(Trie *trie, const AlphaChar *text, zval *data)
{
TrieState *s;
const AlphaChar *p;
const AlphaChar *base;
zval word;
base = text;
if (! (s = trie_root(trie))) {
return -1;
}
while (*text) {
p = text;
if(! trie_state_is_walkable(s, *p)) {
trie_state_rewind(s);
text++;
continue;
}
while(*p && trie_state_is_walkable(s, *p) && ! trie_state_is_leaf(s)) {
trie_state_walk(s, *p++);
if (trie_state_is_terminal(s)) {
array_init_size(&word, 3);
add_next_index_long(&word, text - base);
add_next_index_long(&word, p - text);
add_next_index_zval(data, &word);
}
}
trie_state_rewind(s);
text++;
}
trie_state_free(s);
return 0;
}
这里几个函数暂时未搞明白什么意思
4、trie_filter_search
PHP_FUNCTION(trie_filter_search)
{
Trie *trie;
zval *trie_resource;
unsigned char *text;
int text_len;
int offset = -1, i, ret;
TrieData length = 0;
AlphaChar *alpha_text;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &text, &text_len) == FAILURE) {
RETURN_FALSE;
}
array_init(return_value);
if (text_len < 1 || strlen(text) != text_len) {
php_error_docref(NULL TSRMLS_CC, E_NOTICE, "input is empty");
return;
}
ZEND_FETCH_RESOURCE(trie, Trie *, &trie_resource, -1, PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
alpha_text = emalloc(sizeof(AlphaChar) * text_len + 1);
for (i = 0; i < text_len; i++) {
alpha_text[i] = (AlphaChar) text[i];
}
alpha_text[text_len] = TRIE_CHAR_TERM;
ret = trie_search_one(trie, alpha_text, &offset, &length);
efree(alpha_text);
if (ret == 0) {
return;
} else if (ret == 1) {
add_next_index_long(return_value, offset);
add_next_index_long(return_value, length);
} else {
RETURN_FALSE;
}
}
改成了
PHP_FUNCTION(trie_filter_search)
{
Trie *trie;
zval *trie_resource;
unsigned char *text;
int text_len;
int offset = -1, i, ret;
TrieData length = 0;
AlphaChar *alpha_text;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &text, &text_len) == FAILURE) {
RETURN_FALSE;
}
array_init(return_value);
if (text_len < 1 || strlen(text) != text_len) {
php_error_docref(NULL TSRMLS_CC, E_NOTICE, "input is empty");
return;
}
trie = (Trie *)zend_fetch_resource(Z_RES_P(trie_resource), PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
alpha_text = emalloc(sizeof(AlphaChar) * (text_len + 1));
for (i = 0; i < text_len; i++) {
alpha_text[i] = (AlphaChar) text[i];
}
alpha_text[text_len] = TRIE_CHAR_TERM;
ret = trie_search_one(trie, alpha_text, &offset, &length);
efree(alpha_text);
if (ret == 0) {
return;
} else if (ret == 1) {
add_next_index_long(return_value, offset);
add_next_index_long(return_value, length);
} else {
RETURN_FALSE;
}
}
使用资源 
ZEND_API void *zend_fetch_resource(zend_resource *res, const char *resource_type_name, int resource_type)
在 PHP 7 中删除了原有的  ZEND_FETCH_RESOURCE  宏，直接使用函数  zend_fetch_resource  ，而且解析方式也变得简单了很多，想比 PHP 5 要高效很多，后面我们再通过图片分析对比。
参数 含义
res 资源指针
resource_type_name 该类资源的字符串别名
resource_type 该类资源的类型 id
5、Trie_filter_search_all
PHP_FUNCTION(trie_filter_search_all)
{
Trie *trie;
zval *trie_resource;
unsigned char *text;
int text_len;
int i, ret;
AlphaChar *alpha_text;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &text, &text_len) == FAILURE) {
RETURN_FALSE;
}
array_init(return_value);
if (text_len < 1 || strlen(text) != text_len) {
php_error_docref(NULL TSRMLS_CC, E_NOTICE, "input is empty");
return;
}
ZEND_FETCH_RESOURCE(trie, Trie *, &trie_resource, -1, PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
alpha_text = emalloc(sizeof(AlphaChar) * text_len + 1);
for (i = 0; i < text_len; i++) {
alpha_text[i] = (AlphaChar) text[i];
}
alpha_text[text_len] = TRIE_CHAR_TERM;
ret = trie_search_all(trie, alpha_text, return_value);
efree(alpha_text);
if (ret == 0) {
return;
} else {
RETURN_FALSE;
}
}
改成了
PHP_FUNCTION(trie_filter_search_all)
{
Trie *trie;
zval *trie_resource;
unsigned char *text;
int text_len;
int i, ret;
AlphaChar *alpha_text;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &text, &text_len) == FAILURE) {
RETURN_FALSE;
}
array_init(return_value);
if (text_len < 1 || strlen(text) != text_len) {
php_error_docref(NULL TSRMLS_CC, E_NOTICE, "input is empty");
return;
}
trie = (Trie *)zend_fetch_resource(Z_RES_P(trie_resource), PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
alpha_text = emalloc(sizeof(AlphaChar) * (text_len + 1));
for (i = 0; i < text_len; i++) {
alpha_text[i] = (AlphaChar) text[i];
}
alpha_text[text_len] = TRIE_CHAR_TERM;
ret = trie_search_all(trie, alpha_text, return_value);
efree(alpha_text);
if (ret == 0) {
return;
} else {
RETURN_FALSE;
}
}
6、Trie_filter_new
PHP_FUNCTION(trie_filter_new)
{
Trie *trie;
AlphaMap *alpha_map;
int ret;
alpha_map = alpha_map_new();
if (! alpha_map) {
RETURN_NULL();
}
if (alpha_map_add_range(alpha_map, 0x00, 0xff) != 0) {
/* treat all strings as byte stream */
alpha_map_free(alpha_map);
RETURN_NULL();
}
trie = trie_new(alpha_map);
alpha_map_free(alpha_map);
if (! trie) {
RETURN_NULL();
}
ZEND_REGISTER_RESOURCE(return_value, trie, le_trie_filter);
}
改成了
PHP_FUNCTION(trie_filter_new)
{
Trie *trie;
AlphaMap *alpha_map;
int ret;
alpha_map = alpha_map_new();
if (! alpha_map) {
RETURN_NULL();
}
if (alpha_map_add_range(alpha_map, 0x00, 0xff) != 0) {
/* treat all strings as byte stream */
alpha_map_free(alpha_map);
RETURN_NULL();
}
trie = trie_new(alpha_map);
alpha_map_free(alpha_map);
if (! trie) {
RETURN_NULL();
}
RETURN_RES(zend_register_resource(trie, le_trie_filter));
}
资源的注册
在 PHP 7 中删除了原来的 ZEND_REGISTER_RESOURCE 宏，直接使用 zend_register_resource 函数
 
ZEND_API zend_resource* zend_register_resource(void *rsrc_pointer, int rsrc_type)
       
       
参数解释
rsrc_pointer资源数据指针
rsrc_type注册资源类型时获得的资源类型
 id
7、Trie_filter_store
PHP_FUNCTION(trie_filter_store)
{
Trie *trie;
zval *trie_resource;
unsigned char *keyword, *p;
int keyword_len, i;
AlphaChar alpha_key[KEYWORD_MAX_LEN+1];
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &keyword, &keyword_len) == FAILURE) {
RETURN_FALSE;
}
if (keyword_len > KEYWORD_MAX_LEN || keyword_len < 1) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "keyword should has [1, %d] bytes", KEYWORD_MAX_LEN);
RETURN_FALSE;
}
ZEND_FETCH_RESOURCE(trie, Trie *, &trie_resource, -1, PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
p = keyword;
i = 0;
while (*p && *p != '\n' && *p != '\r') {
alpha_key[i++] = (AlphaChar)*p;
p++;
}
alpha_key[i] = TRIE_CHAR_TERM;
if (! trie_store(trie, alpha_key, -1)) {
RETURN_FALSE;
}
RETURN_TRUE;
}
改成了
PHP_FUNCTION(trie_filter_store)
{
Trie *trie;
zval *trie_resource;
unsigned char *keyword, *p;
int keyword_len, i;
AlphaChar alpha_key[KEYWORD_MAX_LEN+1];
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource,&keyword, &keyword_len) == FAILURE) {
RETURN_FALSE;
}
if (keyword_len > KEYWORD_MAX_LEN || keyword_len < 1) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "keyword should has [1, %d] bytes", KEYWORD_MAX_LEN);
RETURN_FALSE;
}
trie = (Trie *)zend_fetch_resource(Z_RES_P(trie_resource), PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
p = keyword;
i = 0;
while (*p && *p != '\n' && *p != '\r') {
alpha_key[i++] = (AlphaChar)*p;
p++;
}
alpha_key[i] = TRIE_CHAR_TERM;
if (! trie_store(trie, alpha_key, -1)) {
RETURN_FALSE;
}
RETURN_TRUE;
}
8、Trie_filter_save
PHP_FUNCTION(trie_filter_save)
{
Trie *trie;
zval *trie_resource;
unsigned char *filename;
int filename_len;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &filename, &filename_len) == FAILURE) {
RETURN_FALSE;
}
if (filename_len < 1 || strlen(filename) != filename_len) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "save path required");
RETURN_FALSE;
}
ZEND_FETCH_RESOURCE(trie, Trie *, &trie_resource, -1, PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
if (trie_save(trie, filename)) {
RETURN_FALSE;
}
RETURN_TRUE;
}
改成
PHP_FUNCTION(trie_filter_save)
{
Trie *trie;
zval *trie_resource;
unsigned char *filename;
int filename_len;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "rs", &trie_resource, &filename, &filename_len) == FAILURE) {
RETURN_FALSE;
}
if (filename_len < 1 || strlen(filename) != filename_len) {
php_error_docref(NULL TSRMLS_CC, E_WARNING, "save path required");
RETURN_FALSE;
}
trie = (Trie *)zend_fetch_resource(Z_RES_P(trie_resource), PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
if (trie_save(trie, filename)) {
RETURN_FALSE;
}
RETURN_TRUE;
}

9、Trie_filter_free
PHP_FUNCTION(trie_filter_free)
{
Trie *trie;
zval *trie_resource;
int resource_id;
if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "r", &trie_resource) == FAILURE) {
RETURN_FALSE;
}
ZEND_FETCH_RESOURCE(trie, Trie *, &trie_resource, -1, PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
resource_id = Z_RESVAL_P(trie_resource);
if (zend_list_delete(resource_id) == SUCCESS) {
RETURN_TRUE;
}
RETURN_FALSE;
}
改成
PHP_FUNCTION(trie_filter_free)
{
Trie *trie;
zval *trie_resource;
int resource_id;

if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "r", &trie_resource) == FAILURE) {
RETURN_FALSE;
}
trie = (Trie *)zend_fetch_resource(Z_RES_P(trie_resource), PHP_TRIE_FILTER_RES_NAME, le_trie_filter);
resource_id = Z_RES_P(trie_resource);
if (zend_list_delete(resource_id) == SUCCESS) {
RETURN_TRUE;
}
RETURN_FALSE;
}










xiaoai5324
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
用于检测敏感词的 PHP 扩展
08-05
PHP关键词过滤扩展trie_filter， 修复原版返回length错误。用法可以参考原版说明。
检测敏感词的 PHP 扩展
sealbird的专栏
10-22 226
敏感词过滤是我朝程序员必须具备的一种特殊技能，随着敏感词越来越多，是时候写个扩展来快速的进行敏感词检测了 使用说明 1. 安装 libdatrie tar zxf libdatrie-0.2.4.tar.gz cd libdatrie-0.2.4 ./configure --prefix=/usr/local make make install 2. 安装 trie_...
php 敏感词过滤 扩展,利用PHP扩展trie_filter做中文敏感词过滤
weixin_30977281的博客
03-28 275
1.安装libiconv，这个是libdatrie的依赖项wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.14.tar.gztar zxvf libiconv-1.14.tar.gzcd libiconv-1.14./configuremakemake install2. 安装：libdatrie (http://linux.thai.net...
php mysql敏感词_php查找/过滤一段文字中的违禁词敏感词
weixin_39604685的博客
02-02 379
//定义编码header( 'Content-Type:text/html;charset=utf-8 ');$words=array('我','你','他');$content="测一测我是不是违禁词";$banned=generateRegularExpression($words);//检查违禁词$res_banned=check_words($banned,$content);write_...
php 敏感关键词检测,PHP中使用strpos函数实现屏蔽敏感关键字功能
weixin_34775101的博客
03-09 410
现在网络信息监管很严格，特别是屏蔽关键字。特别是现在WEB2.0时代，网站的内容几乎都是来自网民发布，站长管理即可。如果你希望别人在你站点禁止发布某个关键字，那么就需要预先做处理。用PHP做关键字屏蔽的功能样式有多种多样，如正则是最普遍的一种，这里就不一一例举，本文介绍使用PHP函数strpos屏蔽关键字的功能。思路：一、把关键字专门写在一个文本文件里，每行一个，数量不限，有多少写多少。二、PHP...
php扩展过滤敏感词
07-09
php扩展：trie_filter 过滤敏感词。1.生成敏感词文件，2.加载使用敏感词库，3.查找敏感词。可以循环查找替换，最后输出替换后的文本
PHP实现的敏感词过滤方法示例
10-17
主要介绍了PHP实现的敏感词过滤方法,涉及php字符串正则匹配、分割、转换等相关操作技巧,需要的朋友可以参考下
php实现敏感词过滤类.zip
07-11
Trie树是一种前缀树，对于大批量的敏感词，它可以在常数时间内完成查找，非常高效。 2. **添加敏感词**: 类还可能提供一个方法，允许动态添加新的敏感词到过滤器中，以适应敏感词库的更新。 3. **删除敏感词**: ...
php敏感词处理
luyaran的博客
02-14 1090
[php] view plain copy "white-space:pre">    //敏感词处理      public function badwords($content,$flag = 0){          $badwords_dir = array(              'badword.php',              'adverlow.php'
php实现敏感词过滤
px459的博客
05-02 1500
主要思想是将文本中的敏感词替换为‘*’。 首先得有个文本文件，用于替换规则，每行是一个替换规则： 名称为filter.txt，其规则为将文本中等号左边的字符串替换为右边的字符串 filter.txt [plain] view plaincopy 敏感词=***   过滤=***   ...   [p
php做的敏感词过滤，功能很强大喔！神马敏感词都得过滤掉
07-16
php做的敏感词过滤，功能很强大喔！神马敏感词都得过滤掉，一切讲究的是河蟹！吼吼
php敏感词语过滤
大家的blog
07-01 580
$result = '马拉个巴子的'; //文本 $replace = '屁屁'; //替换成 $sensitive = ['巴子','shapi']; //敏感词 $srtWords = array_combine( $result, array_fill( 0, count( $result ), $replace ) ); $result = strtr( $result, ...
PHP 判断字符串是否包含敏感词
ttmn191009的博客
06-14 1715
PHP检测敏感词，正则表达式匹配关键词
PHP内容审核（敏感词过滤）详细介绍
Dream的博客
07-07 1074
我们在自己的代码中，有时候会要求敏感词过滤，但是我们有时候总是找不着，所以我在这里分享一下百度智能云的内容审核/敏感词过滤。首先，我们要有一个百度智能云的账号，可以先去官网注册https://login.bce.baidu.com/，然后进行自己的实名认证，否则不能使用。内容审核在百度智能云的人工智能中 我们在注册完之后，可以进入内容审核，最上面有一个免费尝鲜 点击去领取 选择全部，因为我已经领取过，所以没有显示，当我们领取成功后，首页有一个资源列表 在里面可以查看我们领取过的免费资源，第一次领取会有点慢，
PHP敏感词汇过滤SDK（树形结构遍历命中违禁词）
qq_20729891的博客
12-29 1050
先介绍一下匹配敏感词原理吧，因为没有工具，画的很糙，有疑问直接联系我。（绿色箭头代表命中敏感词，灰色：未命中） 比如说“可以”是敏感词，那么遍历到“以”的时候直接终止遍历 比如说输入“可口”的时候，遍历到“口”的时候，这时候的文字状态是false,所以程序上认为“可口”并非是敏感词（在树上的每一个文字都有一个end状态，只有最后一个字的end=true，其他都是false） 实现步骤 首先将 lustre/php-dfa-sensitive composer下来 composer 官网地址
敏感词库 php,敏感词过滤的php类库
weixin_29571873的博客
03-10 693
简介：classLogic_BlackWord{constAPP_FORUM=1;constAPP_BLOG=2;constAPP_VOTE=3;publicfunctiongetHitList($txt){$hitList=array();$max=$this->getMax();if($max){$size=1000;$last=ceil($m...
PHP实现敏感词过滤系统
噬魂归来的专栏
12-30 8776
原文地址：PHP实现敏感词过滤系统 安装说明 安装PHP扩展 trie_filter，安装教程 http://blog.41ms.com/post/39.html 安装PHP扩展 swoole，安装教程 http://www.swoole.com/ 代码说明 1、敏感词库维护更新脚本： reload_dict.php，提供自动更新字典
python敏感词三方库
最新发布
08-05
Python中有一些可以用于敏感词过滤的三方库。其中比较常用的有以下几个： 1. `sensitive`: 这是一个简单的Python敏感词过滤工具，可以用于检测和过滤文本中的敏感词。 2. `sensitive-word-filter`: 这是一个基于DFA算法实现的高性能敏感词过滤库，适用于大规模文本的敏感词过滤。 3. `sensitive-words`: 这是一个基于Trie树的敏感词过滤库，可以用于快速检测和过滤文本中的敏感词。 这些库提供了一些常用的功能，比如检测敏感词、替换敏感词、标记敏感词等。你可以根据自己的需求选择适合的库进行使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值