记录一个srcML和javalang等工具做tokenization不一致的地方

最新推荐文章于 2024-01-17 16:51:58 发布
最新推荐文章于 2024-01-17 16:51:58 发布
阅读量221 收藏
点赞数
分类专栏： 科研工具 Understand Python技巧
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qysh123/article/details/116879551
版权

这个问题比较细，估计只有做源码分析的盆友会有点兴趣。我在平时会用srcML，javalang，Understand做tokenization，有时也会一起使用，但是发现这些工具有不一致的地方，所以简单以一个例子记录一下：

例如下面这段Java代码：

class Test{
	public WndJournal(){
		
		int width = SPDSettings.landscape() ? WIDTH_L : WIDTH_P;
		int height = SPDSettings.landscape() ? HEIGHT_L : HEIGHT_P;
		
		resize(width, height);
		
		guideTab = new GuideTab();
		add(guideTab);
		guideTab.setRect(0, 0, width, height);
		guideTab.updateList();
		
		alchemyTab = new AlchemyTab();
		add(alchemyTab);
		alchemyTab.setRect(0, 0, width, height);
		
		notesTab = new NotesTab();
		add(notesTab);
		notesTab.setRect(0, 0, width, height);
		notesTab.updateList();
		
		catalogTab = new CatalogTab();
		add(catalogTab);
		catalogTab.setRect(0, 0, width, height);
		catalogTab.updateList();
		
		Tab[] tabs = {
				new IconTab( new ItemSprite(ItemSpriteSheet.GUIDE_PAGE, null) ) {
					protected void select( boolean value ) {
						super.select( value );
						guideTab.active = guideTab.visible = value;
						if (value) last_index = 0;
					}
				},
				new IconTab( new ItemSprite(ItemSpriteSheet.ALCH_PAGE, null) ) {
					protected void select( boolean value ) {
						super.select( value );
						alchemyTab.active = alchemyTab.visible = value;
						if (value) last_index = 1;
					}
				},
				new IconTab( Icons.get(Icons.DEPTH) ) {
					protected void select( boolean value ) {
						super.select( value );
						notesTab.active = notesTab.visible = value;
						if (value) last_index = 2;
					}
				},
				new IconTab( new ItemSprite(ItemSpriteSheet.WEAPON_HOLDER, null) ) {
					protected void select( boolean value ) {
						super.select( value );
						catalogTab.active = catalogTab.visible = value;
						if (value) last_index = 3;
					}
				}
		};
		
		for (Tab tab : tabs) {
			add( tab );
		}
		
		layoutTabs();
		
		select(last_index);
	}
}

如果用javalang对method内部的代码做tokenization是这个结果：

int
width
=
SPDSettings
(
)
?
WIDTH_L
:
WIDTH_P
;
int
height
=
SPDSettings
(
)
?
HEIGHT_L
:
HEIGHT_P
;
resize
(
width
,
height
)
;
guideTab
=
new
GuideTab
(
)
;
add
(
guideTab
)
;
guideTab
(
0
,
0
,
width
,
height
)
;
guideTab
(
)
;
alchemyTab
=
new
AlchemyTab
(
)
;
add
(
alchemyTab
)
;
alchemyTab
(
0
,
0
,
width
,
height
)
;
notesTab
=
new
NotesTab
(
)
;
add
(
notesTab
)
;
notesTab
(
0
,
0
,
width
,
height
)
;
notesTab
(
)
;
catalogTab
=
new
CatalogTab
(
)
;
add
(
catalogTab
)
;
catalogTab
(
0
,
0
,
width
,
height
)
;
catalogTab
(
)
;
Tab
[
]
tabs
=
{
new
IconTab
(
new
ItemSprite
(
ItemSpriteSheet
.
GUIDE_PAGE
,
null
)
)
{
protected
void
select
(
boolean
value
)
{
super
.
select
(
value
)
;
guideTab
.
active
=
guideTab
.
visible
=
value
;
if
(
value
)
last_index
=
0
;
}
}
,
new
IconTab
(
new
ItemSprite

这也是很好理解的，如果用Understand做tokenization，如果我们把每一个token当做一行输出，结果是类似于这个样子：

class|&|Keyword|&|1
Test|&|Identifier|&|1
{|&|Punctuation|&|1
public|&|Keyword|&|2
WndJournal|&|Identifier|&|2
(|&|Punctuation|&|2
)|&|Punctuation|&|2
{|&|Punctuation|&|2
int|&|Keyword|&|4
width|&|Identifier|&|4
=|&|Operator|&|4
SPDSettings|&|Identifier|&|4
.|&|Punctuation|&|4
landscape|&|Identifier|&|4
(|&|Punctuation|&|4
)|&|Punctuation|&|4
?|&|Operator|&|4
WIDTH_L|&|Identifier|&|4
:|&|Operator|&|4
WIDTH_P|&|Identifier|&|4
;|&|Punctuation|&|4
int|&|Keyword|&|5
height|&|Identifier|&|5
=|&|Operator|&|5
SPDSettings|&|Identifier|&|5
.|&|Punctuation|&|5
landscape|&|Identifier|&|5
(|&|Punctuation|&|5
)|&|Punctuation|&|5
?|&|Operator|&|5
HEIGHT_L|&|Identifier|&|5
:|&|Operator|&|5
HEIGHT_P|&|Identifier|&|5
;|&|Punctuation|&|5
resize|&|Identifier|&|7
(|&|Punctuation|&|7
width|&|Identifier|&|7
,|&|Punctuation|&|7
height|&|Identifier|&|7
)|&|Punctuation|&|7
;|&|Punctuation|&|7
guideTab|&|Identifier|&|9
=|&|Operator|&|9
new|&|Keyword|&|9
GuideTab|&|Identifier|&|9
(|&|Punctuation|&|9
)|&|Punctuation|&|9
;|&|Punctuation|&|9
add|&|Identifier|&|10
(|&|Punctuation|&|10
guideTab|&|Identifier|&|10
)|&|Punctuation|&|10
;|&|Punctuation|&|10
guideTab|&|Identifier|&|11
.|&|Punctuation|&|11
setRect|&|Identifier|&|11
(|&|Punctuation|&|11
0|&|Literal|&|11
,|&|Punctuation|&|11
0|&|Literal|&|11
,|&|Punctuation|&|11
width|&|Identifier|&|11
,|&|Punctuation|&|11
height|&|Identifier|&|11
)|&|Punctuation|&|11
;|&|Punctuation|&|11
guideTab|&|Identifier|&|12
.|&|Punctuation|&|12
updateList|&|Identifier|&|12
(|&|Punctuation|&|12
)|&|Punctuation|&|12
;|&|Punctuation|&|12
alchemyTab|&|Identifier|&|14
=|&|Operator|&|14
new|&|Keyword|&|14
AlchemyTab|&|Identifier|&|14
(|&|Punctuation|&|14
)|&|Punctuation|&|14
;|&|Punctuation|&|14
add|&|Identifier|&|15
(|&|Punctuation|&|15
alchemyTab|&|Identifier|&|15
)|&|Punctuation|&|15
;|&|Punctuation|&|15
alchemyTab|&|Identifier|&|16
.|&|Punctuation|&|16
setRect|&|Identifier|&|16
(|&|Punctuation|&|16
0|&|Literal|&|16
,|&|Punctuation|&|16
0|&|Literal|&|16
,|&|Punctuation|&|16
width|&|Identifier|&|16
,|&|Punctuation|&|16
height|&|Identifier|&|16
)|&|Punctuation|&|16
;|&|Punctuation|&|16
notesTab|&|Identifier|&|18
=|&|Operator|&|18
new|&|Keyword|&|18
NotesTab|&|Identifier|&|18
(|&|Punctuation|&|18
)|&|Punctuation|&|18
;|&|Punctuation|&|18
add|&|Identifier|&|19
(|&|Punctuation|&|19
notesTab|&|Identifier|&|19
)|&|Punctuation|&|19
;|&|Punctuation|&|19
notesTab|&|Identifier|&|20
.|&|Punctuation|&|20
setRect|&|Identifier|&|20
(|&|Punctuation|&|20
0|&|Literal|&|20
,|&|Punctuation|&|20
0|&|Literal|&|20
,|&|Punctuation|&|20
width|&|Identifier|&|20
,|&|Punctuation|&|20
height|&|Identifier|&|20
)|&|Punctuation|&|20
;|&|Punctuation|&|20
notesTab|&|Identifier|&|21
.|&|Punctuation|&|21
updateList|&|Identifier|&|21
(|&|Punctuation|&|21
)|&|Punctuation|&|21
;|&|Punctuation|&|21
catalogTab|&|Identifier|&|23
=|&|Operator|&|23
new|&|Keyword|&|23
CatalogTab|&|Identifier|&|23
(|&|Punctuation|&|23
)|&|Punctuation|&|23
;|&|Punctuation|&|23
add|&|Identifier|&|24
(|&|Punctuation|&|24
catalogTab|&|Identifier|&|24
)|&|Punctuation|&|24
;|&|Punctuation|&|24
catalogTab|&|Identifier|&|25
.|&|Punctuation|&|25
setRect|&|Identifier|&|25
(|&|Punctuation|&|25
0|&|Literal|&|25
,|&|Punctuation|&|25
0|&|Literal|&|25
,|&|Punctuation|&|25
width|&|Identifier|&|25
,|&|Punctuation|&|25
height|&|Identifier|&|25
)|&|Punctuation|&|25
;|&|Punctuation|&|25
catalogTab|&|Identifier|&|26
.|&|Punctuation|&|26
updateList|&|Identifier|&|26
(|&|Punctuation|&|26
)|&|Punctuation|&|26
;|&|Punctuation|&|26
Tab|&|Identifier|&|28
[|&|Punctuation|&|28
]|&|Punctuation|&|28
tabs|&|Identifier|&|28
=|&|Operator|&|28
{|&|Punctuation|&|28
new|&|Keyword|&|29
IconTab|&|Identifier|&|29
(|&|Punctuation|&|29
new|&|Keyword|&|29
ItemSprite|&|Identifier|&|29
(|&|Punctuation|&|29
ItemSpriteSheet|&|Identifier|&|29
.|&|Punctuation|&|29
GUIDE_PAGE|&|Identifier|&|29
,|&|Punctuation|&|29
null|&|Keyword|&|29
)|&|Punctuation|&|29
)|&|Punctuation|&|29
{|&|Punctuation|&|29
protected|&|Keyword|&|30
void|&|Keyword|&|30
select|&|Identifier|&|30
(|&|Punctuation|&|30
boolean|&|Keyword|&|30
value|&|Identifier|&|30
)|&|Punctuation|&|30
{|&|Punctuation|&|30
super|&|Keyword|&|31
.|&|Punctuation|&|31
select|&|Identifier|&|31
(|&|Punctuation|&|31
value|&|Identifier|&|31
)|&|Punctuation|&|31
;|&|Punctuation|&|31
guideTab|&|Identifier|&|32
.|&|Punctuation|&|32
active|&|Identifier|&|32
=|&|Operator|&|32
guideTab|&|Identifier|&|32
.|&|Punctuation|&|32
visible|&|Identifier|&|32
=|&|Operator|&|32
value|&|Identifier|&|32
;|&|Punctuation|&|32
if|&|Keyword|&|33
(|&|Punctuation|&|33
value|&|Identifier|&|33
)|&|Punctuation|&|33
last_index|&|Identifier|&|33
=|&|Operator|&|33
0|&|Literal|&|33
;|&|Punctuation|&|33
}|&|Punctuation|&|34
}|&|Punctuation|&|35
,|&|Punctuation|&|35
new|&|Keyword|&|36
IconTab|&|Identifier|&|36
(|&|Punctuation|&|36
new|&|Keyword|&|36
ItemSprite|&|Identifier|&|36
(|&|Punctuation|&|36
ItemSpriteSheet|&|Identifier|&|36
.|&|Punctuation|&|36
ALCH_PAGE|&|Identifier|&|36
,|&|Punctuation|&|36
null|&|Keyword|&|36
)|&|Punctuation|&|36
)|&|Punctuation|&|36
{|&|Punctuation|&|36
protected|&|Keyword|&|37
void|&|Keyword|&|37
select|&|Identifier|&|37
(|&|Punctuation|&|37
boolean|&|Keyword|&|37
value|&|Identifier|&|37
)|&|Punctuation|&|37
{|&|Punctuation|&|37
super|&|Keyword|&|38
.|&|Punctuation|&|38
select|&|Identifier|&|38
(|&|Punctuation|&|38
value|&|Identifier|&|38
)|&|Punctuation|&|38
;|&|Punctuation|&|38
alchemyTab|&|Identifier|&|39
.|&|Punctuation|&|39
active|&|Identifier|&|39
=|&|Operator|&|39
alchemyTab|&|Identifier|&|39
.|&|Punctuation|&|39
visible|&|Identifier|&|39
=|&|Operator|&|39
value|&|Identifier|&|39
;|&|Punctuation|&|39
if|&|Keyword|&|40
(|&|Punctuation|&|40
value|&|Identifier|&|40
)|&|Punctuation|&|40
last_index|&|Identifier|&|40
=|&|Operator|&|40
1|&|Literal|&|40
;|&|Punctuation|&|40
}|&|Punctuation|&|41
}|&|Punctuation|&|42
,|&|Punctuation|&|42
new|&|Keyword|&|43
IconTab|&|Identifier|&|43
(|&|Punctuation|&|43
Icons|&|Identifier|&|43
.|&|Punctuation|&|43
get|&|Identifier|&|43
(|&|Punctuation|&|43
Icons|&|Identifier|&|43
.|&|Punctuation|&|43
DEPTH|&|Identifier|&|43
)|&|Punctuation|&|43
)|&|Punctuation|&|43
{|&|Punctuation|&|43
protected|&|Keyword|&|44
void|&|Keyword|&|44
select|&|Identifier|&|44
(|&|Punctuation|&|44
boolean|&|Keyword|&|44
value|&|Identifier|&|44
)|&|Punctuation|&|44
{|&|Punctuation|&|44
super|&|Keyword|&|45
.|&|Punctuation|&|45
select|&|Identifier|&|45
(|&|Punctuation|&|45
value|&|Identifier|&|45
)|&|Punctuation|&|45
;|&|Punctuation|&|45
notesTab|&|Identifier|&|46
.|&|Punctuation|&|46
active|&|Identifier|&|46
=|&|Operator|&|46
notesTab|&|Identifier|&|46
.|&|Punctuation|&|46
visible|&|Identifier|&|46
=|&|Operator|&|46
value|&|Identifier|&|46
;|&|Punctuation|&|46
if|&|Keyword|&|47
(|&|Punctuation|&|47
value|&|Identifier|&|47
)|&|Punctuation|&|47
last_index|&|Identifier|&|47
=|&|Operator|&|47
2|&|Literal|&|47
;|&|Punctuation|&|47
}|&|Punctuation|&|48
}|&|Punctuation|&|49
,|&|Punctuation|&|49
new|&|Keyword|&|50
IconTab|&|Identifier|&|50
(|&|Punctuation|&|50
new|&|Keyword|&|50
ItemSprite|&|Identifier|&|50
(|&|Punctuation|&|50
ItemSpriteSheet|&|Identifier|&|50
.|&|Punctuation|&|50
WEAPON_HOLDER|&|Identifier|&|50
,|&|Punctuation|&|50
null|&|Keyword|&|50
)|&|Punctuation|&|50
)|&|Punctuation|&|50
{|&|Punctuation|&|50
protected|&|Keyword|&|51
void|&|Keyword|&|51
select|&|Identifier|&|51
(|&|Punctuation|&|51
boolean|&|Keyword|&|51
value|&|Identifier|&|51
)|&|Punctuation|&|51
{|&|Punctuation|&|51
super|&|Keyword|&|52
.|&|Punctuation|&|52
select|&|Identifier|&|52
(|&|Punctuation|&|52
value|&|Identifier|&|52
)|&|Punctuation|&|52
;|&|Punctuation|&|52
catalogTab|&|Identifier|&|53
.|&|Punctuation|&|53
active|&|Identifier|&|53
=|&|Operator|&|53
catalogTab|&|Identifier|&|53
.|&|Punctuation|&|53
visible|&|Identifier|&|53
=|&|Operator|&|53
value|&|Identifier|&|53
;|&|Punctuation|&|53
if|&|Keyword|&|54
(|&|Punctuation|&|54
value|&|Identifier|&|54
)|&|Punctuation|&|54
last_index|&|Identifier|&|54
=|&|Operator|&|54
3|&|Literal|&|54
;|&|Punctuation|&|54
}|&|Punctuation|&|55
}|&|Punctuation|&|56
}|&|Punctuation|&|57
;|&|Punctuation|&|57
for|&|Keyword|&|59
(|&|Punctuation|&|59
Tab|&|Identifier|&|59
tab|&|Identifier|&|59
:|&|Operator|&|59
tabs|&|Identifier|&|59
)|&|Punctuation|&|59
{|&|Punctuation|&|59
add|&|Identifier|&|60
(|&|Punctuation|&|60
tab|&|Identifier|&|60
)|&|Punctuation|&|60
;|&|Punctuation|&|60
}|&|Punctuation|&|61
layoutTabs|&|Identifier|&|63
(|&|Punctuation|&|63
)|&|Punctuation|&|63
;|&|Punctuation|&|63
select|&|Identifier|&|65
(|&|Punctuation|&|65
last_index|&|Identifier|&|65
)|&|Punctuation|&|65
;|&|Punctuation|&|65
}|&|Punctuation|&|66
}|&|Punctuation|&|67
|&|EOF|&|67

如果用srcML输出，则是这个样子：

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<unit xmlns="http://www.srcML.org/srcML/src" revision="0.9.5" language="Java" filename="Test/1/186.java-Filter.java"><class>class <name>Test</name><block>{
	<constructor><specifier>public</specifier> <name>WndJournal</name><parameter_list>()</parameter_list><block>{
		
		<decl_stmt><decl><type><name>int</name></type> <name>width</name> <init>= <expr><ternary><condition><expr><call><name><name>SPDSettings</name><operator>.</operator><name>landscape</name></name><argument_list>()</argument_list></call></expr> ?</condition><then> <expr><name>WIDTH_L</name></expr> </then><else>: <expr><name>WIDTH_P</name></expr></else></ternary></expr></init></decl>;</decl_stmt>
		<decl_stmt><decl><type><name>int</name></type> <name>height</name> <init>= <expr><ternary><condition><expr><call><name><name>SPDSettings</name><operator>.</operator><name>landscape</name></name><argument_list>()</argument_list></call></expr> ?</condition><then> <expr><name>HEIGHT_L</name></expr> </then><else>: <expr><name>HEIGHT_P</name></expr></else></ternary></expr></init></decl>;</decl_stmt>
		
		<expr_stmt><expr><call><name>resize</name><argument_list>(<argument><expr><name>width</name></expr></argument>, <argument><expr><name>height</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		
		<expr_stmt><expr><name>guideTab</name> <operator>=</operator> <operator>new</operator> <call><name>GuideTab</name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name>add</name><argument_list>(<argument><expr><name>guideTab</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>guideTab</name><operator>.</operator><name>setRect</name></name><argument_list>(<argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><name>width</name></expr></argument>, <argument><expr><name>height</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>guideTab</name><operator>.</operator><name>updateList</name></name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		
		<expr_stmt><expr><name>alchemyTab</name> <operator>=</operator> <operator>new</operator> <call><name>AlchemyTab</name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name>add</name><argument_list>(<argument><expr><name>alchemyTab</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>alchemyTab</name><operator>.</operator><name>setRect</name></name><argument_list>(<argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><name>width</name></expr></argument>, <argument><expr><name>height</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		
		<expr_stmt><expr><name>notesTab</name> <operator>=</operator> <operator>new</operator> <call><name>NotesTab</name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name>add</name><argument_list>(<argument><expr><name>notesTab</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>notesTab</name><operator>.</operator><name>setRect</name></name><argument_list>(<argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><name>width</name></expr></argument>, <argument><expr><name>height</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>notesTab</name><operator>.</operator><name>updateList</name></name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		
		<expr_stmt><expr><name>catalogTab</name> <operator>=</operator> <operator>new</operator> <call><name>CatalogTab</name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name>add</name><argument_list>(<argument><expr><name>catalogTab</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>catalogTab</name><operator>.</operator><name>setRect</name></name><argument_list>(<argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><literal type="number">0</literal></expr></argument>, <argument><expr><name>width</name></expr></argument>, <argument><expr><name>height</name></expr></argument>)</argument_list></call></expr>;</expr_stmt>
		<expr_stmt><expr><call><name><name>catalogTab</name><operator>.</operator><name>updateList</name></name><argument_list>()</argument_list></call></expr>;</expr_stmt>
		
		<decl_stmt><decl><type><name><name>Tab</name><index>[]</index></name></type> <name>tabs</name> <init>= <expr><block>{
				<expr><operator>new</operator> <class><super><name>IconTab</name></super><argument_list>( <argument><expr><operator>new</operator> <call><name>ItemSprite</name><argument_list>(<argument><expr><name><name>ItemSpriteSheet</name><operator>.</operator><name>GUIDE_PAGE</name></name></expr></argument>, <argument><expr><literal type="null">null</literal></expr></argument>)</argument_list></call></expr></argument> )</argument_list> <block>{
					<function><specifier>protected</specifier> <type><name>void</name></type> <name>select</name><parameter_list>( <parameter><decl><type><name>boolean</name></type> <name>value</name></decl></parameter> )</parameter_list> <block>{
						<expr_stmt><expr><call><name><name>super</name><operator>.</operator><name>select</name></name><argument_list>( <argument><expr><name>value</name></expr></argument> )</argument_list></call></expr>;</expr_stmt>
						<expr_stmt><expr><name><name>guideTab</name><operator>.</operator><name>active</name></name> <operator>=</operator> <name><name>guideTab</name><operator>.</operator><name>visible</name></name> <operator>=</operator> <name>value</name></expr>;</expr_stmt>
						<if>if <condition>(<expr><name>value</name></expr>)</condition><then> <block type="pseudo"><expr_stmt><expr><name>last_index</name> <operator>=</operator> <literal type="number">0</literal></expr>;</expr_stmt></block></then></if>
					<expr_stmt/>}</block>
				}<operator>,</operator>
				new IconTab<parameter_list>( <parameter><decl/></parameter></parameter_list>new ItemSprite<parameter_list>(<parameter><decl><type><name><name>ItemSpriteSheet</name><operator>.</operator><name>ALCH_PAGE</name></name></type></decl></parameter>, <parameter/></parameter_list>null</function>)</block></class></expr> ) <block>{
					<expr><specifier>protected</specifier> <name>void</name> <call><name>select</name><argument_list>( <argument><expr><name>boolean</name> <name>value</name></expr></argument> )</argument_list></call> <block>{
						<expr><call><name><name>super</name><operator>.</operator><name>select</name></name><argument_list>( <argument><expr><name>value</name></expr></argument> )</argument_list></call></expr>;
						<expr><name><name>alchemyTab</name><operator>.</operator><name>active</name></name> <operator>=</operator> <name><name>alchemyTab</name><operator>.</operator><name>visible</name></name> <operator>=</operator> <name>value</name></expr>;
						<if>if <condition>(<expr><name>value</name></expr>)</condition><then> <block type="pseudo"><expr_stmt><expr><name>last_index</name> <operator>=</operator> <literal type="number">1</literal></expr>;</expr_stmt></block></then></if>
					}</block>
				}</expr>,
				<expr><operator>new</operator> <class><super><name>IconTab</name></super><argument_list>( <argument><expr><call><name><name>Icons</name><operator>.</operator><name>get</name></name><argument_list>(<argument><expr><name><name>Icons</name><operator>.</operator><name>DEPTH</name></name></expr></argument>)</argument_list></call></expr></argument> )</argument_list> <block>{
					<function><specifier>protected</specifier> <type><name>void</name></type> <name>select</name><parameter_list>( <parameter><decl><type><name>boolean</name></type> <name>value</name></decl></parameter> )</parameter_list> <block>{
						<expr_stmt><expr><call><name><name>super</name><operator>.</operator><name>select</name></name><argument_list>( <argument><expr><name>value</name></expr></argument> )</argument_list></call></expr>;</expr_stmt>
						<expr_stmt><expr><name><name>notesTab</name><operator>.</operator><name>active</name></name> <operator>=</operator> <name><name>notesTab</name><operator>.</operator><name>visible</name></name> <operator>=</operator> <name>value</name></expr>;</expr_stmt>
						<if>if <condition>(<expr><name>value</name></expr>)</condition><then> <block type="pseudo"><expr_stmt><expr><name>last_index</name> <operator>=</operator> <literal type="number">2</literal></expr>;</expr_stmt></block></then></if>
					<expr_stmt/>}</block>
				}<operator>,</operator>
				new IconTab<parameter_list>( <parameter><decl/></parameter></parameter_list>new ItemSprite<parameter_list>(<parameter><decl><type><name><name>ItemSpriteSheet</name><operator>.</operator><name>WEAPON_HOLDER</name></name></type></decl></parameter>, <parameter/></parameter_list>null</function>)</block></class></expr> ) <block>{
					<expr><specifier>protected</specifier> <name>void</name> <call><name>select</name><argument_list>( <argument><expr><name>boolean</name> <name>value</name></expr></argument> )</argument_list></call> <block>{
						<expr><call><name><name>super</name><operator>.</operator><name>select</name></name><argument_list>( <argument><expr><name>value</name></expr></argument> )</argument_list></call></expr>;
						<expr><name><name>catalogTab</name><operator>.</operator><name>active</name></name> <operator>=</operator> <name><name>catalogTab</name><operator>.</operator><name>visible</name></name> <operator>=</operator> <name>value</name></expr>;
						<if>if <condition>(<expr><name>value</name></expr>)</condition><then> <block type="pseudo"><expr_stmt><expr><name>last_index</name> <operator>=</operator> <literal type="number">3</literal></expr>;</expr_stmt></block></then></if>
					}</block>
				}
		}</expr>;
		
		<for>for <control>(<init><decl><type><name>Tab</name></type> <name>tab</name> <range>: <expr><name>tabs</name></expr></range></decl></init>)</control> <block>{
			<expr_stmt><expr><call><name>add</name><argument_list>( <argument><expr><name>tab</name></expr></argument> )</argument_list></call></expr>;</expr_stmt>
		<expr_stmt/>}</block>
		
		<expr_stmt><expr><call><name>layoutTabs</name><argument_list>()</argument_list></call></expr>;</expr_stmt></for>
		
		<call><name>select</name><argument_list>(<argument><expr><name>last_index</name></expr></argument>)</argument_list></call></block></block></block></expr></init></decl>;</decl_stmt>
	}</block></constructor>
}</block></class>
</unit>

区别在于：像new ItemSprite这种，srcML有些地方会当成一个token！

蛐蛐蛐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SrcML Framework-开源
04-28
SrcML框架允许将源代码转换为XML表示形式，然后可以在该表示形式上使用工具来推断静态数据，以分析和可视化初始源。 它还提供了编写修改其他程序的程序的简便方法。
怎样使用srcML对Java或C++源代码进行tokenization
qysh123的专栏
12-08 1331
这个需求我觉得很多做软件分析的朋友都会有，我之前的方法比较傻：https://blog.csdn.net/qysh123/article/details/89810018，Understand有时候会有点问题（特别是在处理C++源码的时候），而且Understand跑的时间也比较长。如果在tokenization的时候顺便进行一些处理，如数字换成“<num>”，函数调用换成抽象的“funccall”等等，这时候用Understand也不是不可以，就是比较笨重，所以想尝试一下srcML。下面以Wi
【环境】srcML 源码编译
tczzstc的博客
01-17 455
Gumtree Dockerfile 中指示的 http://131.123.42.38/lmcrs/v1.0.0/ 中只找到了 ubuntu20.04的版本，无法安装，于是自行从源码编译。这个开源项目来计算 AST Edit Script，对 C++ 解析的时候需要安装。参考 Dockerfile 中以下内容，安装缺失的依赖。把编译的出来的 bin 文件链接到 /usr/bin 下。时候遇到下面的报错，可以在。
java源码转为ast,如何将源代码转换为基于XML的AST表示形式?
weixin_29741447的博客
03-10 567
srcml支持行号和列号. 下面是一个使用一个名为iNo.java的Java文件的例子(记住SRCML支持多种语言,包括C/C++),包含以下内容:public class HelloWorld {public static void main(String[] args) {// Prints "Hello, World" to the terminal window.System.out.pr...
怎样使用srcML对C++和Java源代码中的function参数进行替换（normalization）
qysh123的专栏
12-30 649
这个也是在现实科研中的需求，看似简单，实际上也得动动脑子。另外，掌握了这种方法，我们可以对源码中的任意满足条件的token进行替换。 这篇博客是承接上一篇的：https://blog.csdn.net/qysh123/article/details/110849387，不过稍微有所改进。上篇博客中，由于有命令空间（namespace）的存在，所以用了模糊匹配的方法，这里我们参考其他朋友的方法：https://blog.csdn.net/weixin_45069542/article/details/902
Bank-card-tokenization:Java面向OOP的课程项目
05-21
Java选修课OOP中的课程项目 问题描述： 为了保护使用银行卡号的信息系统，要实现一种提供“标记化”可能性的系统。 令牌化是16位卡号上的数字到数字的同构表示。 例如：卡号：4563960122019991令牌：...
这是一个slot filling任务的预处理工具.zip
最新发布
03-02
这个压缩包“这是一个slot filling任务的预处理工具.zip”显然是一个用于此类任务的数据预处理工具，特别与BERT模型相结合，可能包含了定制的分词器和相关的Python实现。 数据预处理是机器学习，尤其是深度学习项目...
Speech-Tokenization:语音文字的标记化。 由Watson STT接收并发送到Apache OpenNLP。 附加代码根据记录的句子创建单独的标记
05-01
还包括一个使与Web服务器通信的servlet。 作为测试的一部分，使用Tomcat 8.5 Web服务器执行Java代码。 为了与Java代码进行前端通信，Servlet接收GET请求。 可以在servlet中读取传输的参数及其值。 在当前状态下，将...
TOKENIZATION
03-26
TOKENIZATION
Lucene网站抓取工具和索引器
04-04
总的来说，"Lucene网站抓取工具和索引器"项目展示了如何结合Java、Apache Lucene和Swing等技术，实现一个完整的搜索引擎解决方案，涵盖网页抓取、内容分析、索引构建以及用户友好的搜索界面。这对于学习和实践信息...
代码可视化工具：提供有关github仓库代码的提示
01-29
代码可视化器 显示有关github存储库的各种统计信息。 安装 Windows-使用VS和IIS，安装所有nuget软件包并运行 Linux-monodevelop ide，将xsp用于Web服务器 Mac OS-Xamarin Studio，安装所有nuget软件包并运行
python 的 javalang 库【1】
attribute47的博客
11-13 6342
javalang 是用于处理 Java 源码的纯 Python 库，目前提供了针对 Java 8 的词法分析器和解析器。PyPI | Github | Java8 语言规范 开始 import javalang tree = javalang.parse.parse("package javalang.brewtab.com; class Test {}; class Test2 {}") 将返回一个 CompilationUnit 实例，它是树的根，可以通过遍历提取不同信息。 print(tree.pa
分享一个能对java代码进行“tokenize”的python库
weixin_37821353的博客
12-14 1433
分享一个能对java代码进行“tokenize”的python库 个人博客：记录一下在项目实施过程中的一些点 情景回顾 项目遇到需求，需要将Java代码进行“tokenize”，即“令牌化”。所谓令牌化，就是指，将java代码，转化为一个由令牌组成的序列。而其中的“令牌”，其实就是一个个的“词”和代码中的“符号”。 举个例子，有代码如下： package effectivejava.chapter...
java.util.StringTokenization
chuifuhuo6864的博客
07-29 119
。我提议他用java.util.StringTokenization类。那个类使用起来很方便： StringTokenizer st = new StringTokenizer("this is a test"," "); while (st.hasMoreTokens()) {...
Segmentation和Tokenization的区别
haha_iamMIS的博客
02-25 2185
在某乎上看到的，感觉有一定道理。 segmentation是将一个字符串切分成若干可以进一步处理的单元，tokenization是将一个字符串转换成若干单元，因此存在合并的情况。 比如人名lee lei应该看做一个词，这一步显然不是segmentation而是tokenization。 详见：https://www.zhihu.com/question/304960383...
从零开始写个编译器吧 - 单词化简述（Tokenization）
xiaolu的专栏
09-01 1085
实际上，所谓的源代码，我们可以将其视为一段长长的字符串。所谓字符串，即是字符的有序集。但是，字符本身作为编译器的输入单位，粒度实在太小了，因此，我们往往需要对编译器进行第一层封装，即分割出一个称之为 Tokenizer （词法分析器）的部分。 Tokenizer 的作用即是将字符序列翻译成 Token（单词）的一个过程，这一过程称之为单词化（Tokenization）。很容易理解单词化这
Java StringTokenizer
aoci4631的博客
04-10 1004
Java StringTokenizer Java中substring方法可以分解字符串，返回的是原字符串的一个子字符串。如果要讲一个字符串分解为一个一个的单词或者标记，StringTokenizer可以帮你。 先看个例子： pub...
srcml在ubuntu上报：version `CURL_OPENSSL_3' not found的解决方法
qysh123的专栏
08-30 3517
由于项目需要，在一台ubuntu上使用GumTree：https://github.com/GumTreeDiff/gumtree 由于GumTree需要使用srcML作为后端，所以在这里下载了其安装程序：https://www.srcml.org/#download 直接运行后，运行GumTree的一些代码，结果GumTree报了异常，所以在终端下尝试直接运行： srcml，结果不出所料有...
"Java程序设计实验一：搜索引擎倒排索引与分词
Java程序设计实验一帮助文档 2020/4/25 华中科技大学计算机学院Java语言程序设计课程组 # 1. 搜索引擎的倒排索引数据结构 搜索引擎是如何实现快速返回查询结果的呢？这涉及到搜索引擎使用的倒排索引数据结构。倒...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值