集成算法 实例

最新推荐文章于 2024-01-18 21:09:40 发布
最新推荐文章于 2024-01-18 21:09:40 发布
阅读量741 收藏
点赞数
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mlljava1111/article/details/50765517
版权

horseColicTraining2.txt

2.000000 1.000000 38.500000 66.000000 28.000000 3.000000 3.000000 0.000000 2.000000 5.000000 4.000000 4.000000 0.000000 0.000000 0.000000 3.000000 5.000000 45.000000 8.400000 0.000000 0.000000 -1.000000
1.000000 1.000000 39.200000 88.000000 20.000000 0.000000 0.000000 4.000000 1.000000 3.000000 4.000000 2.000000 0.000000 0.000000 0.000000 4.000000 2.000000 50.000000 85.000000 2.000000 2.000000 -1.000000
2.000000 1.000000 38.300000 40.000000 24.000000 1.000000 1.000000 3.000000 1.000000 3.000000 3.000000 1.000000 0.000000 0.000000 0.000000 1.000000 1.000000 33.000000 6.700000 0.000000 0.000000 1.000000
1.000000 9.000000 39.100000 164.000000 84.000000 4.000000 1.000000 6.000000 2.000000 2.000000 4.000000 4.000000 1.000000 2.000000 5.000000 3.000000 0.000000 48.000000 7.200000 3.000000 5.300000 -1.000000
2.000000 1.000000 37.300000 104.000000 35.000000 0.000000 0.000000 6.000000 2.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 74.000000 7.400000 0.000000 0.000000 -1.000000
2.000000 1.000000 0.000000 0.000000 0.000000 2.000000 1.000000 3.000000 1.000000 2.000000 3.000000 2.000000 2.000000 1.000000 0.000000 3.000000 3.000000 0.000000 0.000000 0.000000 0.000000 1.000000
1.000000 1.000000 37.900000 48.000000 16.000000 1.000000 1.000000 1.000000 1.000000 3.000000 3.000000 3.000000 1.000000 1.000000 0.000000 3.000000 5.000000 37.000000 7.000000 0.000000 0.000000 1.000000
1.000000 1.000000 0.000000 60.000000 0.000000 3.000000 0.000000 0.000000 1.000000 0.000000 4.000000 2.000000 2.000000 1.000000 0.000000 3.000000 4.000000 44.000000 8.300000 0.000000 0.000000 -1.000000
2.000000 1.000000 0.000000 80.000000 36.000000 3.000000 4.000000 3.000000 1.000000 4.000000 4.000000 4.000000 2.000000 1.000000 0.000000 3.000000 5.000000 38.000000 6.200000 0.000000 0.000000 -1.000000
2.000000 9.000000 38.300000 90.000000 0.000000 1.000000 0.000000 1.000000 1.000000 5.000000 3.000000 1.000000 2.000000 1.000000 0.000000 3.000000 0.000000 40.000000 6.200000 1.000000 2.200000 1.000000
1.000000 1.000000 38.100000 66.000000 12.000000 3.000000 3.000000 5.000000 1.000000 3.000000 3.000000 1.000000 2.000000 1.000000 3.000000 2.000000 5.000000 44.000000 6.000000 2.000000 3.600000 1.000000
2.000000 1.000000 39.100000 72.000000 52.000000 2.000000 0.000000 2.000000 1.000000 2.000000 1.000000 2.000000 1.000000 1.000000 0.000000 4.000000 4.000000 50.000000 7.800000 0.000000 0.000000 1.000000
1.000000 1.000000 37.200000 42.000000 12.000000 2.000000 1.000000 1.000000 1.000000 3.000000 3.000000 3.000000 3.000000 1.000000 0.000000 4.000000 5.000000 0.000000 7.000000 0.000000 0.000000 1.000000
2.000000 9.000000 38.000000 92.000000 28.000000 1.000000 1.000000 2.000000 1.000000 1.000000 3.000000 2.000000 3.000000 0.000000 7.200000 1.000000 1.000000 37.000000 6.100000 1.000000 0.000000 -1.000000
1.000000 1.000000 38.200000 76.000000 28.000000 3.000000 1.000000 1.000000 1.000000 3.000000 4.000000 1.000000 2.000000 2.000000 0.000000 4.000000 4.000000 46.000000 81.000000 1.000000 2.000000 1.000000
1.000000 1.000000 37.600000 96.000000 48.000000 3.000000 1.000000 4.000000 1.000000 5.000000 3.000000 3.000000 2.000000 3.000000 4.500000 4.000000 0.000000 45.000000 6.800000 0.000000 0.000000 -1.000000
1.000000 9.000000 0.000000 128.000000 36.000000 3.000000 3.000000 4.000000 2.000000 4.000000 4.000000 3.000000 3.000000 0.000000 0.000000 4.000000 5.000000 53.000000 7.800000 3.000000 4.700000 -1.000000
2.000000 1.000000 37.500000 48.000000 24.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 1.000000
1.000000 1.000000 37.600000 64.000000 21.000000 1.000000 1.000000 2.000000 1.000000 2.000000 3.000000 1.000000 1.000000 1.000000 0.000000 2.000000 5.000000 40.000000 7.000000 1.000000 0.000000 1.000000
2.000000 1.000000 39.400000 110.000000 35.000000 4.000000 3.000000 6.000000 0.000000 0.000000 3.000000 3.000000 0.000000 0.000000 0.000000 0.000000 0.000000 55.000000 8.700000 0.000000 0.000000 1.000000
1.000000 1.000000 39.900000 72.000000 60.000000 1.000000 1.000000 5.000000 2.000000 5.000000 4.000000 4.000000 3.000000 1.000000 0.000000 4.000000 4.000000 46.000000 6.100000 2.000000 0.000000 1.000000
2.000000 1.000000 38.400000 48.000000 16.000000 1.000000 0.000000 1.000000 1.000000 1.000000 3.000000 1.000000 2.000000 3.000000 5.500000 4.000000 3.000000 49.000000 6.800000 0.000000 0.000000 1.000000
1.000000 1.000000 38.600000 42.000000 34.000000 2.000000 1.000000 4.000000 0.000000 2.000000 3.000000 1.000000 0.000000 0.000000 0.000000 1.000000 0.000000 48.000000 7.200000 0.000000 0.000000 1.000000
1.000000 9.000000 38.300000 130.000000 60.000000 0.000000 3.000000 0.000000 1.000000 2.000000 4.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 50.000000 70.000000 0.000000 0.000000 1.000000
1.000000 1.000000 38.100000 60.000000 12.000000 3.000000 3.000000 3.000000 1.000000 0.000000 4.000000 3.000000 3.000000 2.000000 2.000000 0.000000 0.000000 51.000000 65.000000 0.000000 0.000000 1.000000
2.000000 1.000000 37.800000 60.000000 42.000000 0.000000 0.000000 0.000000 1.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 1.000000
1.000000 1.000000 38.300000 72.000000 30.000000 4.000000 3.000000 3.000000 2.000000 3.000000 3.000000 3.000000 2.000000 1.000000 0.000000 3.000000 5.000000 43.000000 7.000000 2.000000 3.900000 1.000000
1.000000 1.000000 37.800000 48.000000 12.000000 3.000000 1.000000 1.000000 1.000000 0.000000 3.000000 2.000000 1.000000 1.000000 0.000000 1.000000 3.000000 37.000000 5.500000 2.000000 1.300000 1.000000
1.000000 1.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 -1.000000
2.000000 1.000000 37.700000 48.000000 0.000000 2.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 0.000000 0.000000 0.000000 45.000000 76.000000 0.000000 0.000000 1.000000
2.000000 1.000000 37.700000 96.000000 30.000000 3.000000 3.000000 4.000000 2.000000 5.000000 4.000000 4.000000 3.000000 2.000000 4.000000 4.000000 5.000000 66.000000 7.500000 0.000000 0.000000 -1.000000
2.000000 1.000000 37.200000 108.000000 12.000000 3.000000 3.000000 4.000000 2.000000 2.000000 4.000000 2.000000 0.000000 3.000000 6.000000 3.000000 3.000000 52.000000 8.200000 3.000000 7.400000 -1.000000
1.000000 1.000000 37.200000 60.000000 0.000000 2.000000 1.000000 1.000000 1.000000 3.000000 3.000000 3.000000 2.000000 1.000000 0.000000 4.000000 5.000000 43.000000 6.600000 0.000000 0.000000 1.000000
1.000000 1.000000 38.200000 64.000000 28.000000 1.000000 1.000000 1.000000 1.000000 3.000000 1.000000 0.000000 0.000000 0.000000 0.000000 4.000000 4.000000 49.000000 8.600000 2.000000 6.600000 1.000000
1.000000 1.000000 0.000000 100.000000 30.000000 3.000000 3.000000 4.000000 2.000000 5.000000 4.000000 4.000000 3.000000 3.000000 0.000000 4.000000 4.000000 52.000000 6.600000 0.000000 0.000000 1.000000
2.000000 1.000000 0.000000 104.000000 24.000000 4.000000 3.000000 3.000000 2.000000 4.000000 4.000000 3.000000 0.000000 3.000000 0.000000 0.000000 2.000000 73.000000 8.400000 0.000000 0.000000 -1.000000
2.000000 1.000000 38.300000 112.000000 16.000000 0.000000 3.000000 5.000000 2.000000 0.000000 0.000000 1.000000 1.000000 2.000000 0.000000 0.000000 5.000000 51.000000 6.000000 2.000000 1.000000 -1.000000
1.000000 1.000000 37.800000 72.000000 0.000000 0.000000 3.000000 0.000000 1.000000 5.000000 3.000000 1.000000 0.000000 1.000000 0.000000 1.000000 1.000000 56.000000 80.000000 1.000000 2.000000 1.000000
2.000000 1.000000 38.600000 52.000000 0.000000 1.000000 1.000000 1.000000 1.000000 3.000000 3.000000 2.000000 1.000000 1.000000 0.000000 1.000000 3.000000 32.000000 6.600000 1.000000 5.000000 1.000000
1.000000 9.000000 39.200000 146.000000 96.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 -1.000000

horseColicTest2.txt

2.000000 1.000000 38.500000 54.000000 20.000000 0.000000 1.000000 2.000000 2.000000 3.000000 4.000000 1.000000 2.000000 2.000000 5.900000 0.000000 2.000000 42.000000 6.300000 0.000000 0.000000 1.000000
2.000000 1.000000 37.600000 48.000000 36.000000 0.000000 0.000000 1.000000 1.000000 0.000000 3.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 44.000000 6.300000 1.000000 5.000000 1.000000
1.000000 1.000000 37.700000 44.000000 28.000000 0.000000 4.000000 3.000000 2.000000 5.000000 4.000000 4.000000 1.000000 1.000000 0.000000 3.000000 5.000000 45.000000 70.000000 3.000000 2.000000 1.000000
1.000000 1.000000 37.000000 56.000000 24.000000 3.000000 1.000000 4.000000 2.000000 4.000000 4.000000 3.000000 1.000000 1.000000 0.000000 0.000000 0.000000 35.000000 61.000000 3.000000 2.000000 -1.000000
2.000000 1.000000 38.000000 42.000000 12.000000 3.000000 0.000000 3.000000 1.000000 1.000000 0.000000 1.000000 0.000000 0.000000 0.000000 0.000000 2.000000 37.000000 5.800000 0.000000 0.000000 1.000000
1.000000 1.000000 0.000000 60.000000 40.000000 3.000000 0.000000 1.000000 1.000000 0.000000 4.000000 0.000000 3.000000 2.000000 0.000000 0.000000 5.000000 42.000000 72.000000 0.000000 0.000000 1.000000
2.000000 1.000000 38.400000 80.000000 60.000000 3.000000 2.000000 2.000000 1.000000 3.000000 2.000000 1.000000 2.000000 2.000000 0.000000 1.000000 1.000000 54.000000 6.900000 0.000000 0.000000 1.000000
2.000000 1.000000 37.800000 48.000000 12.000000 2.000000 1.000000 2.000000 1.000000 3.000000 0.000000 1.000000 2.000000 0.000000 0.000000 2.000000 0.000000 48.000000 7.300000 1.000000 0.000000 1.000000
2.000000 1.000000 37.900000 45.000000 36.000000 3.000000 3.000000 3.000000 2.000000 2.000000 3.000000 1.000000 2.000000 1.000000 0.000000 3.000000 0.000000 33.000000 5.700000 3.000000 0.000000 1.000000
2.000000 1.000000 39.000000 84.000000 12.000000 3.000000 1.000000 5.000000 1.000000 2.000000 4.000000 2.000000 1.000000 2.000000 7.000000 0.000000 4.000000 62.000000 5.900000 2.000000 2.200000 -1.000000
2.000000 1.000000 38.200000 60.000000 24.000000 3.000000 1.000000 3.000000 2.000000 3.000000 3.000000 2.000000 3.000000 3.000000 0.000000 4.000000 4.000000 53.000000 7.500000 2.000000 1.400000 1.000000
1.000000 1.000000 0.000000 140.000000 0.000000 0.000000 0.000000 4.000000 2.000000 5.000000 4.000000 4.000000 1.000000 1.000000 0.000000 0.000000 5.000000 30.000000 69.000000 0.000000 0.000000 -1.000000
1.000000 1.000000 37.900000 120.000000 60.000000 3.000000 3.000000 3.000000 1.000000 5.000000 4.000000 4.000000 2.000000 2.000000 7.500000 4.000000 5.000000 52.000000 6.600000 3.000000 1.800000 -1.000000
2.000000 1.000000 38.000000 72.000000 36.000000 1.000000 1.000000 3.000000 1.000000 3.000000 0.000000 2.000000 2.000000 1.000000 0.000000 3.000000 5.000000 38.000000 6.800000 2.000000 2.000000 1.000000
2.000000 9.000000 38.000000 92.000000 28.000000 1.000000 1.000000 2.000000 1.000000 1.000000 3.000000 2.000000 3.000000 0.000000 7.200000 0.000000 0.000000 37.000000 6.100000 1.000000 1.100000 1.000000
1.000000 1.000000 38.300000 66.000000 30.000000 2.000000 3.000000 1.000000 1.000000 2.000000 4.000000 3.000000 3.000000 2.000000 8.500000 4.000000 5.000000 37.000000 6.000000 0.000000 0.000000 1.000000
2.000000 1.000000 37.500000 48.000000 24.000000 3.000000 1.000000 1.000000 1.000000 2.000000 1.000000 0.000000 1.000000 1.000000 0.000000 3.000000 2.000000 43.000000 6.000000 1.000000 2.800000 1.000000
1.000000 1.000000 37.500000 88.000000 20.000000 2.000000 3.000000 3.000000 1.000000 4.000000 3.000000 3.000000 0.000000 0.000000 0.000000 0.000000 0.000000 35.000000 6.400000 1.000000 0.000000 -1.000000
2.000000 9.000000 0.000000 150.000000 60.000000 4.000000 4.000000 4.000000 2.000000 5.000000 4.000000 4.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 -1.000000
1.000000 1.000000 39.700000 100.000000 30.000000 0.000000 0.000000 6.000000 2.000000 4.000000 4.000000 3.000000 1.000000 0.000000 0.000000 4.000000 5.000000 65.000000 75.000000 0.000000 0.000000 -1.000000
1.000000 1.000000 38.300000 80.000000 0.000000 3.000000 3.000000 4.000000 2.000000 5.000000 4.000000 3.000000 2.000000 1.000000 0.000000 4.000000 4.000000 45.000000 7.500000 2.000000 4.600000 1.000000
2.000000 1.000000 37.500000 40.000000 32.000000 3.000000 1.000000 3.000000 1.000000 3.000000 2.000000 3.000000 2.000000 1.000000 0.000000 0.000000 5.000000 32.000000 6.400000 1.000000 1.100000 1.000000
1.000000 1.000000 38.400000 84.000000 30.000000 3.000000 1.000000 5.000000 2.000000 4.000000 3.000000 3.000000 2.000000 3.000000 6.500000 4.000000 4.000000 47.000000 7.500000 3.000000 0.000000 -1.000000
1.000000 1.000000 38.100000 84.000000 44.000000 4.000000 0.000000 4.000000 2.000000 5.000000 3.000000 1.000000 1.000000 3.000000 5.000000 0.000000 4.000000 60.000000 6.800000 0.000000 5.700000 -1.000000
2.000000 1.000000 38.700000 52.000000 0.000000 1.000000 1.000000 1.000000 1.000000 1.000000 3.000000 1.000000 0.000000 0.000000 0.000000 1.000000 3.000000 4.000000 74.000000 0.000000 0.000000 1.000000
2.000000 1.000000 38.100000 44.000000 40.000000 2.000000 1.000000 3.000000 1.000000 3.000000 3.000000 1.000000 0.000000 0.000000 0.000000 1.000000 3.000000 35.000000 6.800000 0.000000 0.000000 1.000000
2.000000 1.000000 38.400000 52.000000 20.000000 2.000000 1.000000 3.000000 1.000000 1.000000 3.000000 2.000000 2.000000 1.000000 0.000000 3.000000 5.000000 41.000000 63.000000 1.000000 1.000000 1.000000
1.000000 1.000000 38.200000 60.000000 0.000000 1.000000 0.000000 3.000000 1.000000 2.000000 1.000000 1.000000 1.000000 1.000000 0.000000 4.000000 4.000000 43.000000 6.200000 2.000000 3.900000 1.000000
2.000000 1.000000 37.700000 40.000000 18.000000 1.000000 1.000000 1.000000 0.000000 3.000000 2.000000 1.000000 1.000000 1.000000 0.000000 3.000000 3.000000 36.000000 3.500000 0.000000 0.000000 1.000000
1.000000 1.000000 39.100000 60.000000 10.000000 0.000000 1.000000 1.000000 0.000000 2.000000 3.000000 0.000000 0.000000 0.000000 0.000000 4.000000 4.000000 0.000000 0.000000 0.000000 0.000000 1.000000
2.000000 1.000000 37.800000 48.000000 16.000000 1.000000 1.000000 1.000000 1.000000 0.000000 1.000000 1.000000 2.000000 1.000000 0.000000 4.000000 3.000000 43.000000 7.500000 0.000000 0.000000 1.000000
1.000000 1.000000 39.000000 120.000000 0.000000 4.000000 3.000000 5.000000 2.000000 2.000000 4.000000 3.000000 2.000000 3.000000 8.000000 0.000000 0.000000 65.000000 8.200000 3.000000 4.600000 1.000000
1.000000 1.000000 38.200000 76.000000 0.000000 2.000000 3.000000 2.000000 1.000000 5.000000 3.000000 3.000000 1.000000 2.000000 6.000000 1.000000 5.000000 35.000000 6.500000 2.000000 0.900000 1.000000
2.000000 1.000000 38.300000 88.000000 0.000000 0.000000 0.000000 6.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 -1.000000
1.000000 1.000000 38.000000 80.000000 30.000000 3.000000 3.000000 3.000000 1.000000 0.000000 0.000000 0.000000 0.000000 0.000000 6.000000 0.000000 0.000000 48.000000 8.300000 0.000000 4.300000 1.000000
1.000000 1.000000 0.000000 0.000000 0.000000 3.000000 1.000000 1.000000 1.000000 2.000000 3.000000 3.000000 1.000000 3.000000 6.000000 4.000000 4.000000 0.000000 0.000000 2.000000 0.000000 -1.000000
1.000000 1.000000 37.600000 40.000000 0.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 0.000000 0.000000 0.000000 1.000000 1.000000 0.000000 0.000000 2.000000 2.100000 1.000000
2.000000 1.000000 37.500000 44.000000 0.000000 1.000000 1.000000 1.000000 1.000000 3.000000 3.000000 2.000000 0.000000 0.000000 0.000000 0.000000 0.000000 45.000000 5.800000 2.000000 1.400000 1.000000
2.000000 1.000000 38.200000 42.000000 16.000000 1.000000 1.000000 3.000000 1.000000 1.000000 3.000000 1.000000 0.000000 0.000000 0.000000 1.000000 0.000000 35.000000 60.000000 1.000000 1.000000 1.000000
2.000000 1.000000 38.000000 56.000000 44.000000 3.000000 3.000000 3.000000 0.000000 0.000000 1.000000 1.000000 2.000000 1.000000 0.000000 4.000000 0.000000 47.000000 70.000000 2.000000 1.000000 1.000000

#-*- coding: utf-8 -*-  #添加中文注释
'''
Created on Nov 28, 2010
Adaboost is short for Adaptive Boosting
@author: Peter
'''
from numpy import *

def loadSimpData():
    datMat = matrix([[ 1. ,  2.1],
        [ 2. ,  1.1],
        [ 1.3,  1. ],
        [ 1. ,  1. ],
        [ 2. ,  1. ]])
    classLabels = [1.0, 1.0, -1.0, -1.0, 1.0]
    return datMat,classLabels

#*****加载数据
def loadDataSet(fileName):       
    #特征数（包含最后一列的类别标签）
    numFeat = len(open(fileName).readline().split('\t'))   
    dataMat = []; labelMat = []
    fr = open(fileName)
    #按行读取
    for line in fr.readlines():
        lineArr =[] 
        curLine = line.strip().split('\t')
        for i in range(numFeat-1):
            lineArr.append(float(curLine[i]))
        #把每个样本特征存入 dataMat中  
        dataMat.append(lineArr)
        #存每个样本的标签
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

#*****通过取某列特征进行阈值比较，进而对数据分类，阈值的一边为-1类，另一边为+1类
#dataMatrix：样本数据
#dimen：特征编号，将该列特征进行阈值比较对数据分类
#threshVal：阈值
#threshIneq：两种阈值选择：‘lt’：小于阈值的预测类别值为-1，‘gt’：大于阈值的预测类别取-1
def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):#just classify the data
    #单层决策树，根据与阈值比较，返回类别
    retArray = ones((shape(dataMatrix)[0],1))
    #小于阈值，取类别-1
    if threshIneq == 'lt':
        retArray[dataMatrix[:,dimen] <= threshVal] = -1.0
    #大于阈值，取类别-1    
    else:
        retArray[dataMatrix[:,dimen] > threshVal] = -1.0
    return retArray

# *****构建单层决策分类树，adaboost每次迭代过程中的基分类器
# dataArr：训练样本数据
# classLabels：训练数据的真实类别标签
# D：样本权值
def buildStump(dataArr,classLabels,D):
    dataMatrix = mat(dataArr); 
    labelMat = mat(classLabels).T
    #训练数据个数m,特征维数n
    m,n = shape(dataMatrix)
    #某个特征值范围内，递增选阈值，numSteps为所选阈值总数
    numSteps = 10.0   
    #字典，存储在给定样本权值D下的决策树
    bestStump = {} 
    bestClasEst = mat(zeros((m,1)))#最佳预测类别
    minError = inf #初始化误差率为无穷     
    #遍历所有特征维度
    for i in range(n): 
        #求当前特征的范围值，从小到大按一定步长递增选择阈值
        rangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max();
        stepSize = (rangeMax-rangeMin)/numSteps #步长

        #遍历整个特征值范围，递增取步长
        #（多取了两个值j=-1,j=int(numSteps)+1）
        for j in range(-1,int(numSteps)+1):
        #for j in range(0,int(numSteps)):
            #两种阈值划分：'lt'表示小于阈值取-1，大于阈值取+1；‘gt’与‘lt’相反
            for inequal in ['lt', 'gt']: 
                #按步长单调递增取阈值
                threshVal = (rangeMin + float(j) * stepSize)
                #利用单层决策树预测类别
                predictedVals = stumpClassify(dataMatrix,i,threshVal,inequal)
                #统计预测错误情况：预测正确的样本记0，预测错误的记1
                errArr = mat(ones((m,1)))
                errArr[predictedVals == labelMat] = 0
                #分类误差率：错分样本的权值之和
                weightedError = D.T*errArr                  

                #求最小的分类误差率下的决策树分类器
                if weightedError < minError:
                    minError = weightedError
                    #基分类器的预测结果
                    bestClasEst = predictedVals.copy() #备份预测值
                    #最佳单层决策树的信息
                    bestStump['dim'] = i #划分维度
                    bestStump['thresh'] = threshVal#划分阈值
                    bestStump['ineq'] = inequal #划分方式,取'lt'or'gt'
    return bestStump,minError,bestClasEst 


#*****adaboost算法
#dataArr：训练样本数据
#classLabels：训练样本的类别
#numIt：迭代次数
def adaBoostTrainDS(dataArr,classLabels,numIt=40):
    #存每次迭代中生成的弱分类器
    weakClassArr = []
    #训练样本数
    m = shape(dataArr)[0]

    #step1:初始化权值分布
    D = mat(ones((m,1))/m) 
    #存每次迭代后的累计估计值
    aggClassEst = mat(zeros((m,1)))

    #step2：迭代
    for i in range(numIt):
        #step2.1-2.2:基本弱分类器及分类误差率
        bestStump,error,classEst = buildStump(dataArr,classLabels,D)
        print "D:",D.T

        #step2.3:计算alpha
        #max(error,1e-16)为了防止error=0时除以0溢出
        alpha = float(0.5*log((1.0-error)/max(error,1e-16)))
        #存最佳分类器的权重alpha
        bestStump['alpha'] = alpha  
        #将各个基分类器的相关信息存在数组中
        weakClassArr.append(bestStump)                  
        #打印预测的类别
        print "classEst: ",classEst.T

        #step2.4:更新样本权值D
        #计算更新权值的指数部分
        expon = multiply(-1*alpha*mat(classLabels).T,classEst) 
        #更新样本权值D
        D = multiply(D,exp(expon))                             
        D = D/D.sum() #归一化

        #step3：构建本次迭代后的各个基分类器的线性组合f(x)
        #本次迭代的累计估计值之和
        aggClassEst += alpha*classEst
        print "aggClassEst: ",aggClassEst.T

        #step4：本次迭代后的分类器G(x)=sign(f(x))
        #本次迭代后训练样本的分类情况：错误标1，正确标0,#计算分类错误率：错误数/总数
        aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1)))
        #本轮迭代后集成的分类错误率
        errorRate = aggErrors.sum()/m
        print "total error: ",errorRate
        #当分类错误率为0，停止迭代
        if errorRate == 0.0: break  
    return weakClassArr,aggClassEst

#*****测试算法性能
#datToClass：待分类的测试数据
#classifierArr：训练出的集成分类器
def adaClassify(datToClass,classifierArr):  
    #测试样本的特征属性（不含标签）
    dataMatrix = mat(datToClass)
    #测试样本个数
    m = shape(dataMatrix)[0]
    aggClassEst = mat(zeros((m,1)))
    #多个分类器预测值，进行加权求和
    for i in range(len(classifierArr)):
        classEst = stumpClassify(dataMatrix,classifierArr[i]['dim'],\
                                 classifierArr[i]['thresh'],\
                                 classifierArr[i]['ineq']) 
        aggClassEst += classifierArr[i]['alpha']*classEst
        print 'aggClassEst:',aggClassEst
    #最终预测的类别    
    return sign(aggClassEst)

def plotROC(predStrengths, classLabels):
    import matplotlib.pyplot as plt
    cur = (1.0,1.0) #cursor
    ySum = 0.0 #variable to calculate AUC
    #正类样本数
    numPosClas = sum(array(classLabels)==1.0)
    #y轴修正步长
    yStep = 1/float(numPosClas)
    #x轴修正步长
    xStep = 1/float(len(classLabels)-numPosClas)
    #预测估计值从小到大排序
    sortedIndicies = predStrengths.argsort()#get sorted index, it's reverse
    fig = plt.figure()
    fig.clf()
    ax = plt.subplot(111)
    #loop through all the values, drawing a line segment at each point
    for index in sortedIndicies.tolist()[0]:
        if classLabels[index] == 1.0:
            delX = 0; delY = yStep;  #y轴方向下降一个步长
        else:
            delX = xStep; delY = 0;  #x轴方向倒退一个步长
            ySum += cur[1]
        #draw line from cur to (cur[0]-delX,cur[1]-delY)
        ax.plot([cur[0],cur[0]-delX],[cur[1],cur[1]-delY], c='b')
        cur = (cur[0]-delX,cur[1]-delY)
    ax.plot([0,1],[0,1],'b--')
    plt.xlabel('False positive rate'); plt.ylabel('True positive rate')
    plt.title('ROC curve for AdaBoost horse colic detection system')
    ax.axis([0,1,0,1])
    plt.show()
    print "the Area Under the Curve is: ",ySum*xStep


if __name__=="__main__":
    #-------------------二维数据构建单层决策树的集成分类器
    datamat,classlabels=loadSimpData()
    classifierArray,aggClassEst=adaBoostTrainDS(datamat,classlabels,10)
    print 'classifierArray:',classifierArray    
    #对测试样本进行预测类别标签
    result=adaClassify([[0,0],[3,4],[5,5]],classifierArray)
    print 'result=',result

   #  ##-------------------马疝病数据集
   #  dataArr,labelArr=loadDataSet('horseColicTraining2.txt')
   #  classifierArray,aggClassEst=adaBoostTrainDS(dataArr,labelArr,10)
   #
   # ##马疝病测试分类器性能
   #  testArr,testlabelArr=loadDataSet('horseColicTest2.txt')
   #  predictlabel=adaClassify(testArr,classifierArray)#预测标签
   #  #计算测试数据的分类错误率
   #  test_num=len(testlabelArr)
   #  errArr=mat(ones((test_num,1)))
   #  err_num=errArr[predictlabel!=mat(testlabelArr).T].sum()
   #  err_rate=err_num/test_num
   #  print'err_rate=',err_rate

#-*- coding: utf-8 -*-  #添加中文注释

from numpy import *

import adaboost

#-------------------简单的5个二维样本，测试adaboost
##datamat,classlabels=adaboost.loadSimpData()
##classifierArray,aggClassEst=adaboost.adaBoostTrainDS(datamat,classlabels,9)
##print 'classifierArray:',classifierArray
##
##
##result=adaboost.adaClassify([[1,3],[5,5]],classifierArray)
##print 'result=',result

##-------------------马疝病数据集
dataArr,labelArr=adaboost.loadDataSet('horseColicTraining2.txt')
classifierArray,aggClassEst=adaboost.adaBoostTrainDS(dataArr,labelArr,10)



##计算训练数据的分类错误率
#training_num=len(labelArr)
#traingerrArr=mat(ones((training_num,1)))
#traingerr_num=traingerrArr[sign(aggClassEst)!=mat(labelArr).T].sum()
#traingerr_rate=traingerr_num/training_num
#
####马疝病测试分类器性能
##testArr,testlabelArr=adaboost.loadDataSet('horseColicTest2.txt')
##predictlabel=adaboost.adaClassify(testArr,classifierArray)#预测标签
###计算测试数据的分类错误率
##test_num=len(testlabelArr)
##errArr=mat(ones((test_num,1)))
##err_num=errArr[predictlabel!=mat(testlabelArr).T].sum()
##err_rate=err_num/test_num
#
#print 'traingerr_rate=',traingerr_rate  #训练样本分类错误率
##print 'test err_num=',err_num
#print 'test err_rate=',err_rate        #测试样本分类错误率

#----------------------ROC曲线
# dataArr,labelArr=adaboost.loadDataSet('horseColicTraining2.txt')
# classifierArray,aggClassEst=adaboost.adaBoostTrainDS(dataArr,labelArr,10)
# adaboost.plotROC(aggClassEst.T,labelArr)
mllhxn
关注
专栏目录
27 机器学习入门篇2 4-集成算法实例
m0_48941160的博客
05-16 105
1-集成算法实例概述 2-ROC与AUC指标 3-基础模型 4-集成实例 5-Stacking模型 6-效果改进 已看完::::::::::::::::::; ...
【机器学习】集成算法使用样例
Bing's Blog
12-18 532
# -*- coding: utf-8 -*- """集成算法.ipynb Automatically generated by Colaboratory. Original file is located at https://colab.research.google.com/drive/1cr8C3JW8619DoKNb0nd9u7_RqfAlruTv **Bagged Dec...
python--集成算法例子
qq_43165880的博客
07-12 1359
以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’，外加个人整理添加，仅供个人复习使用。 对于数据X,分别选择两种预处理方案，在不同预处理方案中再建立不同模型，最终汇总所有模型结果。 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline import os #os.chdir('') 导入数据 #设置随机种子 SEED=222 np.random.seed(SEED
【机器学习】集成算法与实战案例
qq_61260911的博客
04-19 904
简单介绍了集成算法，集成算法常见算法比较，以及集成算法的软投票和硬投票，下一节将会更加详细分别去介绍集成算法中的Bagging,Boosting,Stacking
集成学习算法（Bagging 思想、Boosting思想）及具体案例
最新发布
linxinyide的博客
01-18 1517
速通集成学习算法（Bagging 思想：随机森林）（Boosting思想：Adaboost、GBDT、XGBoost）以及三个经典案例（泰坦尼克号、葡萄酒、红酒品质分类）
BN - cluster：基于批归一化的集成算法实例分析
02-08
### BN-cluster：基于批归一化的集成算法实例分析 #### 摘要与背景 本文主要探讨了一种新的集成算法——BN-cluster，该算法旨在解决传统批归一化（Batch Normalization, BN）方法在训练过程中的不稳定问题。批归一...
Python机器学习 集成算法实例
weixin_44056948的博客
08-18 2474
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline SEED = 222 np.random.seed(SEED) df = pd.read_csv('input.csv') #切分训练集和测试集 from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_.
基于ROS1的无人机覆盖路径规划算法实例
10-28
此外，为了实现安全的无人机飞行，可能还会集成视觉感知、避障算法以及与地面站的通信功能。 学习这个实例，你将深入理解ROS1的工作原理，熟悉无人机路径规划的算法实现，以及如何在实际项目中整合这些组件。这不仅...
回归算法实例
03-27
在这个"回归算法实例"中，我们聚焦于通过MATLAB实现的各种回归方法。MATLAB是一种强大的数学计算环境，特别适合进行数据分析、算法开发以及模型构建。下面将详细讨论回归算法的基本概念、常见类型及其MATLAB实现。 ...
集成算法
ukakasu的博客
09-20 1290
集成学习框架：bagging，boosting和stacking Bagging 典型的代表：随机森林。 从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果： Boosting 典型代表：AdaBoost， Xgboost。 训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。如果某...
python集成算法测试数据及案例代码.zip
05-24
python集成算法测试数据及案例代码
集成算法.ipynb
09-17
集成学习（Ensemble learning）就是将若干个弱分类器通过一定的策略组合之后产生一个强分类 器，是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多 个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中 集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用 来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT）， XGBoost等集成算法的身影也随处可见，可见其效果之好，应用之广。
【机器学习】logistic回归病马训练集horseColicTraining.txt
06-16
机器学习——logistic回归，预测病马死亡率的案例的训练集。提供给大家训练使用。。。。。。。。。。。。。。。
集成算法-随机森林与案例实战-泰坦尼克获救预测
最白の白菜的博客
01-12 853
集成算法-随机森林 Ensemble learning 目的：让机器学习效果更好，单个不行，群殴走起 Bagging：训练多个分类器取平均 f(x)=1/M∑m=1Mfm(x)f(x)=1 / M \sum_{m=1}^{M} f_{m}(x)f(x)=1/M∑m=1M​fm​(x) Boosting：从弱学习器开始加强，通过加权来进行训练 Fm(x)=Fm−1(x)+argmin⁡h∑i=1nL(yi,Fm−1(xi)+h(xi))F_{m}(x)=F_{m-1}(x)+\operatorname{arg
集成算法-Boosting算法案例及推理过程
weixin_43999733的博客
06-18 2606
集成学习（Ensamble Learning）通过训练多个若学习器，然后将其按某种策略组合起来，从而达到最好的学习性能，提高算法的泛华能力。 目前集成学习有3个框架：bagging ,boosting,stacking; Boosting作用于相同的测试集，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。 Boosting提升算法的思路 提...
集成算法原理概述, 算法实现
weixin_30539625的博客
09-23 262
▨ Ensemble learning - 集成算法 原理概论 ▒目的 让机器学习的效果更好, 量变引起质变 ▒ 分类 ▨Bagging - bootstrap aggregation ◈公式 　　 ◈原理 　　训练多个分类器取平均, 并行的训练一堆的分类器 ◈典例 　　随机森林 　　 ◈随机 　　输入　 -　　数据源采样随机 　...
徒手写代码之《机器学习实战》---adaboost算法(2) （在一个较难数据集上应用AdaBoost）
憨宝宝的博客
06-21 1085
在一个难数据集上应用 AdaBoost 此较难数据即逻辑回归算法中从疝气病症预测病马的数据 说明: 将 horseColicTraining2.txt 和 horseColicTest2.txt 放在当前目录下。 from numpy import * 单层决策树生成的函数 """ 单层决策树分类函数 Parameters: dataMatrix - 数据矩阵 ...
《机器学习实战》——第7章 利用AdaBoost元算法提高分类性能
fjyalzl的博客
09-18 502
我们可以将不同的分类器组合起来，而这种组合结果则被称为集成方法或者元算法。使用集成方法时会有多种形式：可以是不同算法的集成，也可以是统一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。缺点：对离群点敏感。适用数据类型：数值型和标称型数据。
MATLAB粒子群算法实例详解及应用
- AppDesigner：包含了使用Matlab App Designer设计的应用程序，这些应用程序可能集成了PSO算法的交互式界面。 - OptimizationAlgorithm：可能包含了对PSO算法的实现，也可能包含其他优化算法，用于对比分析。 5....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值