8-15ASR

1         perl printf STDERR

2          

source
unigrams	Units.txt	lexicon_numbers.txt
7196	211	8874
7772 的 1878 了 1554 在 1224 有 1181 也 1103 我 1057 是 1020 和 965 一 917 他 877 为 803 而 772 与 749 又	<NSN> 1 <SPN> 2 a1 3 a2 4 a3 5 a4 6 a5 7 aa 8 ai1 9 ai2 10 ai3 11 ai4 12 ai5 13 an1 14 an2 15	<NOISE> 1 <SPOKEN_NOISE> 2 <UNK> 2 一 91 61 一万 91 62 189 167 一万元 91 62 189 167 208 196 一万多 91 62 189 167 32 184 一下 91 62 209 69 一下子 91 62 209 69 210 121 一两 91 64 125 78 一个 91 62 59 36 一个人 91 62 59 36 146 45 一个劲 91 62 59 36 123 95

 

generate
Wordlist_mapped	Word_map	Wordlist.txt	Unigram counts
8876	8876	8874	8874
A B C C D E F G H I J K L M N	<s> A </s> B <UNK> C 的 C 了 D 在 E 有 F 也 G 我 H 是 I 和 J 一 K 他 L	<NOISE> <SPOKEN_NOISE> <UNK> 一 一万 一万元 一万多 一下 一下子 一两 一个 一个人 一个劲 一个半月 一个月	7773 的 1879 了 1555 在 1225 有 1182 也 1104 我 1058 是 1021 和 966 一 918 他 878 为 804 而 773 与

 

 

3        tail -n +$heldout_sent | tee~/heldout 从行号为heldout_sent开始打印

tail -n 20 filename显示filename最后20行。

 

4          

 gunzip -c $dir/train.gz | tail -n 10000 | \

    get_raw_ngrams 3 | sort | uniq -c | uniq_to_ngrams | tee ~/uniq | \

    sort | tee ~/before_discount | discount_ngrams $subdir/config.get_ngrams| tee ~/after_discount | \

    sort | merge_ngrams | gzip -c > $subdir/ngrams.gz   

5        Uniq -c  ：进行计数

 

6          

语言模型建立的过程

 

		get_raw_ngrams	sort | uniq -c	uniq_to_ngrams
3train
				D=0 tau=0 phi=1 D=0 tau=0 phi=1 D=1 tau=0 phi=1
4train
				D=0 tau=0 phi=1 D=0 tau=0 phi=1 D=1 tau=0 phi=1 D=1 tau=0 phi=1

 

log: line=     *         13.42 log: ngram_order=1 log: history=          *         13.42 log: predicted=*  13.42 log: count=13.420000   log: line=     B         0.16 log: ngram_order=1 log: history=          B         0.16 log: predicted=B  0.16 log: count=0.160000               *         13.42 log: line=     BR      0.79 log: ngram_order=1 log: history=          BR      0.79 log: predicted=BR           0.79 log: count=0.790000               B         0.16 log: line=     BYH    0.16 log: ngram_order=1 log: history=          BYH    0.16 log: predicted=BYH        0.16 log: count=0.160000               BR      0.79 log: line=     BaI     0.16 log: ngram_order=1 log: history=          BaI     0.16 log: predicted=BaI          0.16 log: count=0.160000               BYH    0.16 log: line=     Bbo    0.16 log: ngram_order=1 log: history=          Bbo    0.16 log: predicted=Bbo        0.16 log: count=0.160000               BaI     0.16 log: line=     Bg       0.16 log: ngram_order=1 log: history=          Bg       0.16 log: predicted=Bg           0.16 log: count=0.160000               Bbo    0.16 log: line=     BgN   0.16 log: ngram_order=1 log: history=          BgN   0.16 log: predicted=BgN        0.16 log: count=0.160000               Bg       0.16 log: line=     BjQ    0.16 log: ngram_order=1 log: history=          BjQ    0.16 log: predicted=BjQ         0.16 log: count=0.160000               BgN   0.16 log: line=     D         0.16 log: ngram_order=1 log: history=          D         0.16 log: predicted=D 0.16 log: count=0.160000               BjQ    0.16 log: line=     EG      0.16 log: ngram_order=1 log: history=          EG      0.16 log: predicted=EG          0.16 log: count=0.160000               D         0.16 log: line=     Gh      0.16 log: ngram_order=1 log: history=          Gh      0.16 log: predicted=Gh          0.16 log: count=0.160000               EG      0.16 log: line=     H         0.16 log: ngram_order=1 log: history=          H         0.16 log: predicted=H 0.16 log: count=0.160000               Gh      0.16 log: line=     JH       0.16 log: ngram_order=1 log: history=          JH       0.16 log: predicted=JH           0.16 log: count=0.160000               H         0.16 log: line=     Ph      0.16 log: ngram_order=1 log: history=          Ph      0.16 log: predicted=Ph           0.16 log: count=0.160000               JH       0.16 log: line=     a         0.16 log: ngram_order=1 log: history=          a         0.16 log: predicted=a  0.16 log: count=0.160000               Ph      0.16 log: line=     c          0.16 log: ngram_order=1 log: history=          c          0.16 log: predicted=c  0.16 log: count=0.160000               a         0.16 log: line=     dV      0.16 log: ngram_order=1 log: history=          dV      0.16 log: predicted=dV          0.16 log: count=0.160000               c          0.16 log: line=     dl        0.16 log: ngram_order=1 log: history=          dl        0.16 log: predicted=dl 0.16 log: count=0.160000               dV      0.16 log: line=A  *         0.89 log: ngram_order=2 log: history=A       *         0.89 log: predicted=*  0.89 log: count=0.890000               dl        0.16 log: line=A  Bbo    0.11 log: ngram_order=2 log: history=A       Bbo    0.11 log: predicted=Bbo        0.11 log: count=0.110000   A         *         0.89 log: line=BR           *         1.78 log: ngram_order=2 log: history=BR     *         1.78 log: predicted=*  1.78 log: count=1.780000   A         Bbo    0.11 log: line=BR           EG      0.11 log: ngram_order=2 log: history=BR     EG      0.11 log: predicted=EG          0.11 log: count=0.110000   BR      *         1.78 log: line=BR           dV      0.11 log: ngram_order=2 log: history=BR     dV      0.11 log: predicted=dV          0.11 log: count=0.110000   BR      EG      0.11 log: line=BYH         *         0.89 log: ngram_order=2 log: history=BYH  *         0.89 log: predicted=*  0.89 log: count=0.890000   BR      dV      0.11 log: line=BYH         D         0.11 log: ngram_order=2 log: history=BYH  D         0.11 log: predicted=D 0.11 log: count=0.110000   BYH    *         0.89 log: line=BaI          *         0.89 log: ngram_order=2 log: history=BaI    *         0.89 log: predicted=*  0.89 log: count=0.890000   BYH    D         0.11 log: line=BaI          Ph      0.11 log: ngram_order=2 log: history=BaI    Ph      0.11 log: predicted=Ph           0.11 log: count=0.110000   BaI     *         0.89 log: line=Bbo         *         0.89 log: ngram_order=2 log: history=Bbo  *         0.89 log: predicted=*  0.89 log: count=0.890000   BaI     Ph      0.11 log: line=Bbo         c          0.11 log: ngram_order=2 log: history=Bbo  c          0.11 log: predicted=c  0.11 log: count=0.110000   Bbo    *         0.89 log: line=Bg            *         0.89 log: ngram_order=2 log: history=Bg     *         0.89 log: predicted=*  0.89 log: count=0.890000   Bbo    c          0.11 log: line=Bg            Gh      0.11 log: ngram_order=2 log: history=Bg     Gh      0.11 log: predicted=Gh          0.11 log: count=0.110000   Bg       *         0.89 log: line=BgN        *         0.89 log: ngram_order=2 log: history=BgN  *         0.89 log: predicted=*  0.89 log: count=0.890000   Bg       Gh      0.11 log: line=BgN        B         0.11 log: ngram_order=2 log: history=BgN  B         0.11 log: predicted=B  0.11 log: count=0.110000   BgN   *         0.89 log: line=BjQ         *         0.89 log: ngram_order=2 log: history=BjQ   *         0.89 log: predicted=*  0.89 log: count=0.890000   BgN   B         0.11 log: line=BjQ         BgN   0.11 log: ngram_order=2 log: history=BjQ   BgN   0.11 log: predicted=BgN        0.11 log: count=0.110000   BjQ    *         0.89 log: line=D  *         0.89 log: ngram_order=2 log: history=D       *         0.89 log: predicted=*  0.89 log: count=0.890000   BjQ    BgN   0.11 log: line=D  a         0.11 log: ngram_order=2 log: history=D       a         0.11 log: predicted=a  0.11 log: count=0.110000   D         *         0.89 log: line=EG           *         0.89 log: ngram_order=2 log: history=EG    *         0.89 log: predicted=*  0.89 log: count=0.890000   D         a         0.11 log: line=EG           BYH    0.11 log: ngram_order=2 log: history=EG    BYH    0.11 log: predicted=BYH        0.11 log: count=0.110000   EG      *         0.89 log: line=Gh           *         0.89 log: ngram_order=2 log: history=Gh    *         0.89 log: predicted=*  0.89 log: count=0.890000   EG      BYH    0.11 log: line=Gh           BR      0.11 log: ngram_order=2 log: history=Gh    BR      0.11 log: predicted=BR           0.11 log: count=0.110000   Gh      *         0.89 log: line=H  *         0.89 log: ngram_order=2 log: history=H       *         0.89 log: predicted=*  0.89 log: count=0.890000   Gh      BR      0.11 log: line=H  Bg       0.11 log: ngram_order=2 log: history=H       Bg       0.11 log: predicted=Bg           0.11 log: count=0.110000   H         *         0.89 log: line=JH *         0.89 log: ngram_order=2 log: history=JH     *         0.89 log: predicted=*  0.89 log: count=0.890000   H         Bg       0.11 log: line=JH BaI     0.11 log: ngram_order=2 log: history=JH     BaI     0.11 log: predicted=BaI          0.11 log: count=0.110000   JH       *         0.89 log: line=Ph           *         0.89 log: ngram_order=2 log: history=Ph     *         0.89 log: predicted=*  0.89 log: count=0.890000   JH       BaI     0.11 log: line=Ph           BR      0.11 log: ngram_order=2 log: history=Ph     BR      0.11 log: predicted=BR           0.11 log: count=0.110000   Ph      *         0.89 log: line=a   *         0.89 log: ngram_order=2 log: history=a        *         0.89 log: predicted=*  0.89 log: count=0.890000   Ph      BR      0.11 log: line=a   H         0.11 log: ngram_order=2 log: history=a        H         0.11 log: predicted=H 0.11 log: count=0.110000   a         *         0.89 log: line=c   *         0.89 log: ngram_order=2 log: history=c        *         0.89 log: predicted=*  0.89 log: count=0.890000   a         H         0.11 log: line=c   JH       0.11 log: ngram_order=2 log: history=c        JH       0.11 log: predicted=JH           0.11 log: count=0.110000   c          *         0.89 log: line=dV           *         0.89 log: ngram_order=2 log: history=dV    *         0.89 log: predicted=*  0.89 log: count=0.890000   c          JH       0.11 log: line=dV           dl        0.11 log: ngram_order=2 log: history=dV    dl        0.11 log: predicted=dl 0.11 log: count=0.110000   dV      *         0.89 log: line=dl *         0.89 log: ngram_order=2 log: history=dl      *         0.89 log: predicted=*  0.89 log: count=0.890000   dV      dl        0.11 log: line=dl BjQ    0.11 log: ngram_order=2 log: history=dl      BjQ    0.11 log: predicted=BjQ         0.11 log: count=0.110000   dl        *         0.89 dl        BjQ    0.11

7         统计程序运行的时间

FILE *fp = fopen(“log.txt”,”w”); time_t begin = clock(); time_t end = clock(); fprintf(fp,"log: latgen-faster the running time is : %fms\n", (double)(end -begin)*1000/CLOCKS_PER_SEC); fclose(fp);

 

8         修改文件格式

替换	ed 's/}/\n/g' test.txt >enter.txt sed 's/:\s//g' map.txt > map_1.txt :%s/\n/ /g
删除	sed -i '/^,\s{"license"/d' enter.txt
打印列	awk -F '"' '{print $5 $7}' enter.txt >map.txt

9         Git上传环境备份

 

 s